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E 是 计算 机 科学 的 一 个 分 支 ， 是 一 门 研究 机 器 智能 的 学 科 ， 即 用 人 工 的 方法 和 技 
研制 智能 机 器 或 智能 系统 来 模仿 、 延 伸 和 扩展 人 的 智能 ， 实 现 智 能 行为 。 

本 书 第 二 版 共 16 音 ， 首 先 讨 论 人 工 智能 的 认 知 问题 和 好 辑 基础 ， 然 后 论述 约束 推理 、 
性 推理 、 基 于 范例 推理 、 概 率 推 理 。 第 七 章 至 第 十 三 草 重 点 讨论 机 器 学 习 ， 包 括 归 纳 学 习 、 
支持 向 量 机 、 解 释 学 习 、 强 化 学 习 、 粗 糙 集 、 关 联 规则 、 知 识 发 现 。 第 十 四 章 阐述 分 布 式 智 
能 。 最 后 两 章 分 别 讨论 进化 计算 和 人 工 生命 。 与 第 一 版 相 比 ， 增 加 了 五 章 新 内 容 。 其 他 章节 
也 作 了 较 大 的 修改 和 补充 。 
本 书 内 容 新 颖 ， 反 映 该 领域 的 最 新 研究 进展 ， 特 别 总 结 了 作者 多 年 的 科研 成 果 。 全 书 力 
求 从 理论 、 算 法 、 系 统 、 应 用 讨论 人 工 智 能 的 方法 和 关键 技术 。 本 书 可 以 作为 信息 领域 和 相 
关 专 业 的 高 等 院 校 高 年 级 学 生 和 研究 生 的 教材 ， 也 可 以 供 有 关 科 技 人 员 学习 参 考 。 
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人 工 智能 的 长 期 目标 是 建立 人 类 水 平 的 人 工 
路 上 取得 了 可 喜 的 进展 ， 特 别 与 书 
言 处 理 、 规 划 和 机 器 人 等 相关 的 应 月 
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趋势 是 智能 化 ， 
th xe 
的 大 发 展 。 
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计算 
深入 地 了 解 人 的 大 脑 。 彻 底 提 
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机 器 或 

智能 和 计算 智能 。 
获取 、 推 理 过 程 。 
把 当前 的 人 工 
促进 人 工 智 能 的 发 展 。 
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奇迹 般 地 创造 出 智能 社会 ， 


Ake E Ag] 


MF 
运用 知识 解决 问题 是 当前 
称 作为 知识 工程 阶段 。 知 识 工程 侧重 





计算 机 科学 的 一 个 分 文 ， 是 一 门 研究 机 器 
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昌 技 术 和 认 知 科学 看 作 21 1 
成 ， 主 张 这 四 大 技术 融合 发 展 ， 并 描绘 了 这 样 
因为 一 旦 我 们 能 够 在 如 何 (how)、 为 何 why). 
LE 解 思维 ， 我 们 就 可 以 用 纳米 科技 来 
关 它 ， 使 它 工 作 ”。 这 将 对 人 类 和 补 
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各 种 可 能 的 设想 。 这 与 我 们 提 H 
本 书 自 1998 年 发 行 以 来 ， 受 到 了 读者 广泛 的 欢迎 ， 许 多 院 校 
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号 智能 和 神经 计算 是 完全 不 同 的 看 
i 1996 年 ，Minsky 在 第 四 届 太 
puters, Emotions and Common Sense” 中 认为 ， 神 
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能 包括 神经 计算 、 模 糊 系统 、 遗 传 算 法 、 进 化 规 世 
人 脑 的 奥秘 ， 是 自然 科学 面临 的 最 大 挑战 之 一 。21 
国 商务 部 (DOC) 共同 资助 了 一 个 雄心 勃勃 的 计划 一 -“ 提 高 


的 聚合 技术 ”(Convergent Technology for Improving Hun 











上 造 了 工业 社会 ， 
动 化 和 智能 化 ， 促 进 知 识 密集 


[智能 诞生 50 年 来 ， EIKA F 
i 器 学 习 、 数 据 挖掘 、 计 算 机 视觉 、 专 家 系统 、 
带 来 了 良好 的 经 济 效益 和 社会 效益 。 
理 ， 构 建 语 义 Web, 提高 互联 网 信息 的 效用 率 。 信 息 化 的 必然 
创 人 类 后 文明 史 。 如 果 说 蒸汽 机 他 
实现 社会 生产 的 
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1 沿 技术 ， 
学 前 景 :“ 聚 合 技术 以 认 知 科学 为 
何 处 (where)、 何 时 (when) 这 四 个 
出 造 它 ， 用 生物 技术 和 生物 医学 来 实现 它 ， 最 后 
巨大 影响 。 在 欧盟 的 第 6 次 研 
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上 的 人 类 思维 的 层次 模型 是 吻合 的 。 
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上 又 取得 了 许多 习 
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并 将 认 知 科学 视 为 最 优 











究 经 费 资 助 中 ， 在 大 脑 科 学 研究 方面 投入 了 4500 万 欧元 的 资 
， 了 欧洲 议会 还 会 进一步 增加 对 大 脑 研究 的 投入 。 
1 者 基于 知识 ， 后 者 基于 数据 ; 











人 工 智 能 国际 会 议 的 特 





经 计算 与 符号 计算 可 以 结合 起 
， 正 是 从 这 种 结合 出 发 ， 提 出 


























用 作 教 科 书 或 教材 ， 众 多 
E 要 的 进展 ， 特 别 在 不 确 























定 推 理 、 机 器 学 习 、 多 主体 系统 、 人 工 生 命 等 方面 ， 广 大 读者 迫切 要 求 出 版 第 二 版 。 
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能 行为 。 


智能 主体 从 环境 接受 感 

















知 信息 ， 进 行 协同 工作 ， 执 行 各 种 智能 行为 。20 世纪 90 年 代 以 来 ， 多 主体 系统 成 为 人 工 智 色 
研究 的 核心 之 一 。 

人 工 生命 是 指 用 计算 机 和 精密 机 械 等 生成 或 构造 表现 自然 生命 系统 行为 特点 的 仿真 系统 
或 模型 系统 。 人 工 生 命 是 形成 新 的 信息 处 理 体 系 强大 的 推动 力 ， 并 成 为 研究 生物 的 一 个 特别 
有 用 的 工具 。 人 工 生命 的 研究 可 能 将 信息 科学 和 生命 科学 结合 起 来 ， 形 成 生命 信息 科学 ， 成 
为 人 工 智能 研究 新 的 途径 。 

本 书 第 二 版 在 第 一 版 基础 上 作 了 重大 修订 ， 共 分 16 章 。 第 一 章 是 绪论 ， 从 人 工 智能 的 认 
知 问题 出 发 ， 介 绍 本 书 撰写 的 指导 思想 ， 概 要 介绍 人 工 智 能 当前 研究 的 热点 。 第 二 章 讨论 人 
工 智能 逻辑 ， 较 系统 地 讨论 非 单调 逻辑 和 与 智能 主体 有 关 的 逻辑 系统 。 第 三 章 讨论 约束 推理 ， 
介绍 许多 实用 的 约束 推理 方法 。 第 四 章 介绍 定性 推理 ， 着 重 讨论 几 种 重要 的 定性 推理 方法 。 
多 年 来 作者 及 其 领导 的 集体 一 直 从 事 基 于 范例 推理 的 研究 ， 其 主要 成 果 构 成 第 五 章 。 概 率 推 
理 是 一 种 重要 的 不 确定 推理 ， 和 第 六 章 给 予 重点 讨论 。 机 器 学 习 是 当前 人 工 智能 研究 的 核心 ， 
也 是 知识 发 现 、 数 据 控 掘 等 领域 的 重要 基础 ， 本 书 用 T 章 的 篇 幅 给 予 论述 ， 反映 研究 的 最 新 
进展 。 第 七 章 论 述 归 纳 学 习 。 第 八 章 介绍 支持 向 量 机 。 第 九 章 讨论 解释 学 习 。 第 十 章 论述 强 
化 学 习 。 第 十 一 章 介绍 粗糙 集 理论 。 第 十 二 章 阐述 关联 规则 。 集 成 的 知识 发 现 系统 给 出 在 第 
十 三 章 。 近 几 年 来 分 布 智能 取得 重要 进展 ， 结 合 我 们 研究 的 成 果 ， 在 第 十 四 章 重 点 讨论 主体 
理论 和 多 主体 系统 的 关键 技术 。 在 第 十 五 章 ， 对 进化 计算 进行 了 探讨 ， 重 点 讨论 遗传 算法 。 
最 后 一 章 探 讨 人 工 生命 ， 概 要 介绍 人 工 生命 研究 的 内 容 和 取得 的 进展 。 与 上 一 版 相 比 ， 增 加 
了 许多 新 内 容 ， 包 括 概 率 推理 、 支 持 向 量 机 、 强 化 学 习 、 粗 糙 集 、 关 联 规则 等 。 其 他 音节 也 
在 上 一 版 的 基础 上 作 了 修改 ， 补 充 了 许多 新 内 容 ， 以 反映 最 新 研究 成 果 。 本 书 第 二 版 在 每 章 
都 增加 了 习题 ， 以 便 读者 加 深 理解 课文 内 容 。 
本 书 是 根据 中 国 科 学 院 研究 生 院 (北京) 计算 机 科学 技术 专业 博士 、 硕 士 研究 生 教 学 的 
需要 ， 作 者 于 1994 年 开设 了 高 级 人 工 智 能 课程 。 教 材 经 不 断 修改 和 扩充 ， 于 1998 年 正式 出 
版 ， 定 为 普通 高 等 教育 “ 九 五 ”国家 级 重点 教材 、 中 国 科 学 院 研究 生 教 学 从 书 。 本 书 实际 上 
是 集体 研究 成 果 的 总 结 ， 先 后 有 6 位 博士 后 、40 多 位 博士 生 、90 多 位 硕士 生 参 加 了 研究 。 陆 
汝 铃 院士 、 戴 汝 为 院士 、 李 衍 达 院士 、 张 钱 院 士 、 董 棍 美 院士 、 高 庆 狮 院士 、 林 惠 敏 院士 、 
陈 霖 院士 、 郭 爱 克 院 士 、 李 国 杰 院 士 、 何 新 贵 院士 、 郑 南宁 院士 、 钟 义 信教 授 、 石 纯 一 教授 、 
涂 序 疹 教 授 、 张 成 奇 教授 、 王 球 研 究 员 、 何 华 灿 教授 等 给 予 诚 执 的 帮助 和 有 益 的 讨论 ， 作 者 
愿 借 此 机 会 深 表 谢意 。 

本 书 有 关 研 究 得 到 国家 自然 科学 基金 、 国 家 重大 基础 研究 计划 、 国 家 863 高 技术 计划 、 
北京 市 自然 科学 基金 、 中 国 科学 院 知 识 创新 工程 等 的 资助 。 科 学 出 版 社 对 本 书 的 出 版 给 予 了 
大 力 支 持 ， 在 此 一 并 致谢 。 
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能 , 实现 机 器 智能 。 
[McCarthy 2005] 











产业 革命 解放 了 人 的 体力 劳动 ， 使 
展 。 在 人 类 历史 发 展 的 过 程 中 ， 
劳动 。 制 造 和 使 用 仿 人 的 智 

我 国 曾经 发 明了 不 少 智 
台 Mats f 
FARA Es ERR, UR 
yb, Aristotle (公元 前 384—322) 在 《工具 论 》 的 著作 中 
(1561—1626) Æ (Hr TH) Hed 








社会 的 进步 和 经 济 的 发 
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是 天 文 观 测 与 星象 分 析 
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出 了 “通用 符号 ”和 “ 推 怕 





的 萌芽 。 
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一 图 灵机 ， 创 立 了 
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第 1 章 绪论 


1.1 人 工 智能 的 渊源 
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能 机 器 是 人 们 长 期 以 来 的 愿望 。 

















究 用 人 工 的 方法 和 技术 ， 模 仿 、 延 人 
F, McCarthy 指出 人 工 智能 的 长 期 目标 是 实现 人 类 水 平 的 人 





























k 和 机 器 。 例 如 ， 算 盘 是 应 











展 有 重大 影响 。 


























世纪 以 来 ， 数 理 逻 辑 、 自 动机 
学 技术 的 进展 ， 为 人 工 智 能 的 诞生 ， 准 备 了 思想 、 
立 了 布尔 代数 ， 他 在 《思维 法 则 》 一 书 中 ， 首 次 用 符号 
Godel (1906—1978) 提出 了 不 完备 性 


控制 论 、 信 ， 


理 





里 论 、 

















广泛 的 
医 风 地 动 仪 是 测报 与 显示 地 震 的 仪器 。 我 们 祖先 提出 的 阴阳 





论 和 物质 基础 。 









































上 归纳 法 。Leibnitz (1646—1716) 研制 
计算 ”的 概念 ， 使 形式 逻辑 符号 化 ， 可 以 说 是 “机 器 思维 ”研究 





经 网 络 的 研究 。1946 年 ，Manochly 和 Eckert 研制 成 功 ENIAC 
Wiener 创立 了 控制 论 ，Shannon 创立 了 信息 论 。 


现实 世界 中 ， 相 当 多 的 问题 求解 是 复杂 的 ， 常 常 没 有 算法 可 遵循 ， 或 者 即使 有 计算 方法 ， 

















和 扩展 














机 器 可 以 完成 蒙 重 的 体力 工作 ， 极 大 地 促进 了 人 类 
如何 用 机 器 放大 人 的 脑力 





5 典 计算 机 ， 水 运 仪 象 


H ity 


出 形式 逻辑 。 
了 四 则 计算 器 ， 提 


Bacon 

















息 论 、 仿 生 学 、 计 算 机 、 心 理学 等 科 
Boole (1815 一 1864) 创 
语言 描述 了 思维 活动 的 基本 推理 法 则 。 
FE 定理 。Turing (1912—1954) 提出 了 理想 计算 机 模型 一 
动机 理论 。1943 年 ，McClloch 和 Pitts 提出 了 MP 神经 网 络 模型 ， 





























开创 
电子 数字 计算 机 。1948 





























也 是 NP 问题 。 人 们 可 以 采用 局 发 式 知 识 进 行 求解 ， 把 复杂 的 问题 大 大 简化 ， 可 在 浩瀚 的 搜索 
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的 研究 。 

















迅速 找到 解答 。 这 是 运 
是 数学 上 的 最 优 解 。 这 种 处 理 问题 的 方法 具有 显著 的 特 1 
McCarthy、Minsky 等 发 起 ， 


经 过 三 十 多 年 的 研究 和 
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的 几 位 心理 学 家 、 数 学 家 、 计 算 机 科学 家 、 信 息 论 学 家 在 





E, SAAI 











专门 领域 的 经 验 知 识 ， 经 常会 取得 有 关 问 题 的 满意 解 ， 但 不 
[智能 的 诞生 。1956 年 由 




















tmouth 大 学 举办 夏季 讨论 会 ， 正 式 提 出 人 工 智能 的 术语 ， 开 
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研制 成 功 ， 并 投入 使 用 。 








然 语言 到 








得 了 不 少 研究 成 果 。 其 应 用 渗透 到 许多 领域 ， 
在 20 世纪 50 年 代 ， 人 工 智 能 以 博弈 、 游 戏 为 对 象 进行 研究 。1956 F, 
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人 工 智 能 取得 了 很 大 的 进 
E 解 、 机 器 翻译 、 模 式 识别 、 机 器 人 、 氏 
趾 进 它们 的 发 展 。 











台 了 具有 真正 意义 的 人 工 智能 
展 。 许 多 人 工 智 能 专家 系统 
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像 处 理 等 方面 ， 
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Samuel 研制 成 功 








具有 自学 习 能 力 的 局 
证 明了 《数学 原理 》 书 中 38 











发 式 博弈 程序 。 同 年 ， 

















ewell, Simon 5&4 
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条 定理 ， 开 创 了 利用 计算 机 看 











是 出 了 语言 文法 ， 开 创 ] 
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1958 年 McCar 
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LISP， 不 仅 可 以 处 理 数 值 





， 而 且 可 以 更 方便 地 处 





























Newell 发 表 了 问题 求解 程 
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向 人 工 智 能 的 步骤 ”的 论文 , 推动 了 人 工 智能 的 发 展 。1965 4 
化 学 专家 系统 ， 使 人 工 智 能 的 研究 从 着 重 算法 转 

实用 化 的 标志 。1965 年 ，Robinson 提出 了 归结 原理 。 

识 表 示 方 法 。1969 年 ， 国 际 人 工 智 能 联合 会 IJCAI) 成 立 。 
际 人 工 智能 学 术 会 议 ，| 

年 创刊 。 

















制 了 启发 式 程序 Logic Theorist， 
思维 活动 规律 的 工 
hy 建立 了 人 工 智能 程序 设计 语言 


o Chomsky 


五 兰 











符号 ， 为 人 工 智 能 研究 提供 了 重要 工 
20 世纪 60 年 代 前 期 ， 人 工 智能 以 搜索 算法 、 通 用 问题 求解 (GPS) 的 研究 为 主 。1963 年 ， 
序 ， 使 启发 式 程序 有 更 大 的 普 适 性 。1961 4E, Minsky 发 表 题 为 “ 走 
制 成 功 了 DENDRAL 
名 知识 表示 的 研究 ， 也 是 人 工 智能 看 
1968 年 Quillian 提出 了 语义 网 络 的 知 
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究 走 问 








从 1969 年 起 ， 每 两 年 召开 一 次 国 
IJCAI 主办 的 人 工 智能 学 报 “Artificial Intelligence" F 1970 














20 世纪 70 年 代 前 期 ， 人 工 智能 研究 以 自然 语言 理解 、 知 识 表示 为 主 。1972 年 , Winograd 


hes 


ri 


发 表 了 自然 语 




















Feigenbaum 在 第 五 届 





国际 











理解 系统 SHRDLU。 法 国 
Schank 提出 了 概念 从 属 理论 。 
人 工 智能 会 议 上 提出 了 知识 工程 。 








马赛 大 学 的 Co 











1974 年 ，Minsky ETE 





要 的 相 











识 ] 


他 认为 ， 知 
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原理 和 方法 ， 对 那些 需要 专家 知 
E 理 过 程 的 构成 

20 世纪 80 FAR, 人工 智能 
开始 兴起 人 工 智能 产业 。 特 别 是 1982 年 ， 日 本 政府 了 





的 获取 、 表 示 和 
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SIRE CRABS 

















推动 了 人 工 智 能 的 发 





展 。 许 多 国 
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我 国 也 将 智能 








十 算 机 系统 的 研 
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究 列 家 863 高 技术 计划 。 

















五 十 年 来 ， 人 工 智 能 的 看 











机 器 学 习 的 方法 等 。 人 工 智能 应 用 ， 






































完 取 得 了 一 定 的 进展 ， 












































E 式 宣布 投资 


是 出 了 
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lmerauer 创建 了 PROLOG 语言 。1973 年 
EARKI. 1977 年 ， 





, 


[ 程 是 人 工 智能 的 


能 解决 的 应 用 难题 提供 求解 的 手段 。 恰 当 运 月 
与 解释 ， 是 设计 基于 知识 系统 的 重要 技术 问题 。 
F 始 广泛 应 用 , 出 现 了 专家 系统 开发 工 

于 发 第 五 代 计 算 机 ， 极 大 地 
制订 相应 的 计划 ， 进 行人 工 智能 和 智能 计算 机 系统 的 丰 








发 式 搜 索 策 略 、 非 单调 


专家 知识 
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辨别 出 一 


解 等 方面 的 成 就 促进 了 人 工 智能 的 研究 。 当 前 ， 以 知识 信息 处 理 为 中 心 的 知识 工程 是 人 工 
能 的 显著 标志 。 

人 工 智 能 的 研究 与 其 它 事 物 发 展 一 样 ， 出 现 过 曲折 。 从 一 开始 ， 人 工 智能 的 工作 者 因 ; 
分 地 乐观 而 受 人 指责 。20 世纪 60 年 代 初 , 人 工 智 能 的 创始 人 Simon 等 就 乐观 地 预言 : 

(1) 十 年 内 数字 计算 机 将 是 世界 象棋 冠军 。 

(2 十 年 内 计算 机 将 证 明 一 个 未 发 现 的 重要 的 数学 定理 。 

(3) 十 年 内 数字 计算 机 将 谱写 具有 相当 美学 价值 的 而 为 批评 家 所 认可 的 乐曲 。 

(4) 十 年 内 大 多 数 心理 学 理论 将 采用 计算 机 程序 的 形式 。 
这 些 预 言 至 今 还 未 完全 实现 。 甚 至 连 一 个 3 岁 的 小 孩 也 能 轻而易举 地 从 一 幅 图 画 
棵 树 来 ， 而 功能 最 强大 的 超级 计算 机 也 只 能 在 小 孩 认 树 方面 达到 中 等 水 平 。 对 小 孩 故 事 的 理 











解 还 非常 困难 。 
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乏 必 要 的 理 t 























性 知识 表示 、 不 确定 



































多 粒度 视觉 信息 的 处 理 
总 的 来 看 ， 人 工 智能 

科学 研究 智能 的 基本 1 

学 科 。 脑 科 
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一 般 认为 ， 认 知 (cognition) 是 和 情感 、 动 机 、 
等 人 将 对 “ 认 知 ”的 看 法 归纳 为 如 下 五 种 主 


学 家 Houston 
(1) 认 知 是 信息 的 
(2) WADE ERI 
(3) 认 知 是 问题 求 
(4) 认 知 
(5) WK 











是 思维 3 


组 本 

















I 是 一 





| 学 从 分 子 水 平 、 
是 研究 人 类 感知 、 
j 人 工 的 方法 和 技术 ， 模 仿 、 延 介 和 
究 , 探索 智能 科学 的 新 概念 、 新 理 i 


目 关 的 活动 ， 如 知觉 、 


是 极为 困难 的 。 
能 还 处 于 知 





的 进展 。 


从。 在 一 些 关键 技术 方面 ， 
E 理 等 尚未 取得 突破 性 


能 学 科研 究 的 早期 阶段 ， 必 须 ] 
理论 和 实现 技术 ， 是 由 脑 科 学 、 
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诸如 机 器 学 习 、 非 单调 推理 、 
[智能 对 全 局 性 判断 模糊 信 

















学 习 、 
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细胞 水 平 、 行 为 水 平 研 究 人 脑 智能 机 型 
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象 、 概 念 形成 、 











ap pi 
语言 使 用 等 。 














认 知 心理 学 家 Dodd 等 则 认为 ， 认 知 应 包括 
的 ， 


认 知 是 为 了 一 定 的 目 
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的 认 知 问题 


于 展 智 能 
认 知 科学 、 人 工 智 色 


世纪 共 创 辉煌 




















IMS 等 相对 的 E 





要 类 型， 








记忆 、 思 维 











三 个 方面 ， 即 适应 、 

















在 一 定 的 心理 结构 





进行 的 信息 











认 知 科学 是 研究 人 类 感知 和 |) 
求解 ， 从 人 类 个 体 到 人 类 
认 知 科学 是 现代 心理 学 、 


1990]. 
哲学 等 学 科 交 叉 发 展 的 


认 知 科学 的 兴起 和 发 展 标志 着 对 以 人 类 为 中 心 
。 认 知 科学 的 研究 将 使 人 类 自我 了 解 和 自我 控 
能 革命 





。 它 的 研究 ; 
DUBAI. GM 
受到 纽 威 尔 和 


EDAK 


jr HAE . 


U^ 


yu 





























蒙 早期 研究 工作 的 
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智 或 认识 过 
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类 智能 和 机 器 智能 的 怕 
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知 科学 涉及 的 问题 非常 ) 
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究 在 50 4 


科学 的 研 
能 等 学 科 构 成 的 交叉 
E， 建 立 脑 模型 ， 揭 示人 脑 
意识 等 人 脑 心智 活动 过 程 的 科学 。 


问题 求解 、 
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。 三 门 学 科 


[ 史 忠 植 2006]. 


程 。 美 国 心理 
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也 就 是 说 ， 
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科学 语言 学 、 人 类 学 乃至 卓然 





智能 活动 的 研究 已 进入 到 新 的 阶 








的 知识 和 智能 提高 到 空 
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为 智能 计算 








时 是 如 何 进行 信 


问题 求解 、 


前 未 有 的 高 
机 系统 的 研制 





F 代 末期 就 出 现 了 [司马 
了 较 好 的 模型 以 代替 行为 主义 学 说 关于 人 的 简化 模 
明和 解释 人 在 完成 认 知 活动 
包括 知觉 、 语 言 、 





息 加 工 的 。 认 
创造 、 注 意 ， 


































































































1991 年 ， 有 代表 性 的 杂志 “Artificial Intelligence" # 47 卷发 表 了 人 工 智能 基础 专 
辑 ， 指 出 了 人 工 智能 研究 的 趋势 。Kirsh 在 专辑 中 提出 了 人 工 智 能 的 五 个 基本 问题 [Kirsh 
1991]: 

(1) 知识 与 概念 化 是 否 是 人 工 智 能 的 核心 ? 

(2) 认 知 能 力 能 否 与 载体 分 开 来 研究 ? 

(3) 认 知 的 轨迹 是 否 可 用 类 自然 语言 来 描述 ? 

(4) 学 习 能 力 能 否 与 认 知 分 开 来 研究 ? 

(5) 所 有 的 认 知 是 否 有 一 种 统一 的 结构 ? 

这 些 问 题 都 是 与 人 工 智 能 有 关 的 认 知 问题 ， 必 须 从 认 知 科学 的 基础 理论 进行 探讨 。 这 些 


问题 都 涉及 人 工 智能 的 关键 ， 
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研究 [钱学森 1986] 。 


人 类 思维 的 形态 主要 有 感知 思维 、 形 象 
思维 形态 。 


级 的 


所 能 认识 
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的 自觉 的 、 间 接 的 和 概 扣 
重 自 知 的 阶段 ， 强 调 自我 认识 。1984 年 ， 钱 学 森 教 授 1 


6 的 有 反映。 由 于 入 


在 人 们 开始 认识 
到 的 仅 是 现象 。 在 此 基础 上 形成 的 思 双 


1.3 思维 的 层次 模型 











因此 成 为 不 同学 派 的 分 水 岭 。 各 个 学 派对 上 述 问题 都 有 不 同 的 
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具有 意识 的 人 脑 对 于 客观 现实 的 本 质 属性 、 内 部 规律 性 
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维 科学 (Noetic Science) 的 
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之 构成 有 条 理 的 知识 
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。 人 们 在 实践 过 程 中 , 通过 

















身 等 感官 直接 接触 客观 外 界 而 获得 的 各 利 


的 来 源 和 内 容 都 是 客观 的 、 丰 富 的 。 


形象 思 
有 的 。 
于 这 个 范畴 。 

抽象 思维 是 一 种 基于 抽象 概念 的 ， 
现 ， 抽 象 思维 才 成 为 可 能 ， 语 言 和 思 
思维 的 基础 。 
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维 主要 是 
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思维 中 起 重要 作 月 

人 的 思维 过 程 ! 
够 及 时 地 反映 客观 事物 及 大 
此 在 有 意识 的 活动 ， 

根据 上 述 讨论 , 作者 提出 人 类 | 
1994]. 。 图 中 感知 思维 是 极 简单 的 思维 形态 ， 它 通过 人 的 上 
象 ， 形 成 初级 的 思维 
以 物理 符号 系统 为 理论 基础 ， 用 语言 表述 抽象 的 概念 。 


思考 的 数 











UAE, WAS f 
维 互 相 促进 ， 互 相 推动 。 可 以 认为 物理 











事物 的 表面 现象 的 初步 认识 ， 


化 的 方法 进行 概括 ， 并 用 形象 材料 来 
经 机 制 的 连接 论 相 适应 的 。 模 式 识 别 、 图 
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里 进行 思维 。 只 有 语言 的 出 
系统 是 
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符号 






































有 人 认为 ， 灵感 思维 
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发 挥 重要 作用 。 












































， 大 脑 更 多 地 表现 为 


是 形象 ， 


注意 使 思维 活动 有 
变化 ， 使 人 能 够 更 好 地 适应 周围 环境 。 尘 























思维 的 层次 模型 (参见 












































。 形 象 思维 以 * 























经 网 络 的 连接 论 为 理 
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思维 扩大 到 潜意识 , 人 脑 有 
内 进行 加 工 ， 但 是 人 并 没有 意识 到 。 也 有 人 认为 ， 灵 感 思维 是 顿悟。 
月， 有 竺 进行 深入 研究 。 
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定 的 方向 和 和 集中， 保证 人 色 


以 同时 进 和 
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FE 意 限制 了 可 











BATH. MA AMT EFF AT HN o 
图 1. 1) [ 史 忠 植 
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可 以 高 度 并 行 处 理 。 抽 象 


























于 注意 的 作用 ， 





使 其 处 理 基 本 




















上 是 串 行 的 。 














思维 模型 就 是 要 研究 这 三 种 思维 形式 的 相互 关系 ， 





以 及 它们 之 间 的 相互 转换 的 微观 











过 程 。 
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人 们 可 以 用 神经 网 络 的 稳定 吸引 子 来 表示 联想 记忆 、 
还 需要 作 长 期 

















图 像 识别 的 问题 。 但 是 要 解决 从 
的 进一步 研究 。 






























































































































































































抽象 思维 抽象 处 理 单元 
形象 思维 “| 形象 处 理 单元 1 形象 处 理 单元 2 形象 处 理 单元 n 
外 界 信号 
图 1.1 思维 的 层次 模型 
L4 符号 智能 
智能 是 什么 ? 智能 是 个 体 有 目的 的 行为 、 合 理 的 思维 ， 以 及 有 效 的 适应 环境 的 综合 性 能 
力 。 通 俗 地 说 ， 智能 是 个 体 认 识 客观 事物 和 运用 知识 解决 问题 的 能 力 。 人 类 个 体 的 智能 是 一 
种 综合 性 能 力 ， 具 体 讲 ， 可 以 包括 感知 与 认识 客观 事物 、 客 观 世 界 与 自我 的 能 力 ; 通过 学 习 
取得 经 验 、 积 累 知 识 的 能 力 ; 理解 知识 、 运 用 知识 和 运用 经 验 分 析 问 题 和 解决 问题 的 能 力 ; 联 
想 、 推 理 、 判 断 、 决 策 的 能 力 ; 运 用 语言 进行 抽象 、 概 括 的 能 力 ; 发 现 、 发 明 、 创 造 、 创 新 的 















































能 力 ;实时 地 、 迅 速 地 、 合 理 地 应 付 复杂 环 : 





其 智能 











生活 在 社会 中 ， 
不 断 发 展 。 

ATH 
BET. RET 
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P He, 








和 扩展 人 的 








与 社会 环境 有 密切 的 关系 。 随 着 人 类 社会 的 不 断 进 


fig (Artificial Intelligence) 是 相对 人 的 自然 智 


实现 某 些 ”机 器 思维 ”。 








RREN ; 预测 、 洞 察 事物 发 展 变化 的 能 力 等 。 人 
步 ， 智 能 的 概念 也 


























能 而 言 , 即 用 人 工 的 方法 和 技术 ， 
为 一 门 学 科 ， 人 工 智 能 研究 智 























和 已 人 一 
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为 的 i 
人 类 专家 才能 处 理 的 复杂 问题 。 

长 期 来 ， 人 们 从 人 脑 思 维 的 不 同 
和 行为 主义 。 传 统 人 工 智 


础 。 物 理 符号 
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层次 对 人 了 
能 是 符号 主义 ， 它 以 Newe 
系统 假设 认为 物理 符号 系统 是 智 








十 算 模 型 ， 研 制 具有 感知 、 推 理 、 学 习 、 联 想 、 决 策 等 思维 活动 的 计算 系统 ， 解 决 需要 




















矢口 
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能 进行 研究 ， 形 成 了 符号 主义 、 连 接 主义 
11 和 Simon 提出 的 物理 符号 系统 假设 为 基 
能 行为 充分 和 必要 的 条 件 。 物 理 符号 系统 由 


















































组 符号 实体 组 成 ， 它 们 都 是 物理 模式 ， 可 在 符号 
行 建立 、 修 改 、 复 制 、 删 除 等 操作 ， 以 生成 其 它 名 





结构 的 实体 中 作为 组 分 出 现 。 该 系统 可 以 进 


PL 














连接 主义 研究 非 程序 的 、 适 应 性 的 、 大 脑 风格 的 信息 处 理 的 本 质 和 能 力 。 人 们 也 称 它 为 
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神经 网 络 了 














系统 采 
户 界面 和 各 种 工 









































于 它 近 年 来 的 迅速 发 展 , 大 量 的 神经 网 络 的 机 理 、 模 型 、 
EAE I 
开放 方式 ， 使 得 新 的 网 络 模型 可 以 比较 方便 地 进入 系统 
， 对 网 络 算法 进行 调试 修改 。 男 外 ， 对 已 有 的 网 络 模型 的 改善 也 较为 简单 ， 
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F 放 式 的 神经 网 络 环境 ， 提 供 典 型 的 、 具 有 实 月 
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的 算法 的 实现 提供 








了 展 好 的 环境 。 








神经 计算 从 脑 的 ? 








里 能 力 及 其 动态 行为 。 
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神经 网 络 适 合 于 低层 次 的 模式 处 到 
网 络 的 基本 特点 集中 表现 在 :也 以 分 布 式 方式 存储 信息 。@ 


、 分 布 式 记忆 和 自学 习 自 组 织 过 程 。 特 别 是 对 3 
的 自 组 织 以 及 一 些 相互 关联 的 活动 ， 














研究 重点 侧 习 





















































自动 获取 知识 ， 更 显示 出 了 
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科学 技术 有 很 大 的 促进 作 月 














目前 ， 符 号 处 理 系统 和 神经 网 络 模型 的 
将 模糊 逻辑 、 神 经 网 络 等 








E. o 


























Fh 全 新 的 方法 和 途径。 当然 ， 随 着 人 工 4 
在 理论 的 深入 也 磁 到 秆 
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申 经 系统 结构 出 发 来 研究 脑 的 功能 ， 研 究 大 量 简单 的 神经 元 的 集 
EE 于 模拟 和 实现 人 的 认识 过 程 中 的 感知 觉 过 程 、 形 象 
行 搜索 、 联 想 记 忆 ， 时 空 数据 统计 
独特 的 能 力 ， 





算法 不 断 地 涌现 出 来 。 
价值 的 神经 网 络 模型 。 
PF， 利用 系统 提供 




















好 的 月 
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团 信息 








述 
并 普遍 认为 
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组 织 、 自 学 习 能 力 [ 史 趾 植 1993b] 。 正 是 这 些 特点 ， 使 神经 网 络 为 人 们 在 不 
因 方 面 提供 了 一 利 
们 也 发 现 原 有 的 模型 和 算法 所 存在 的 问题 ， 
点 。 可 是 我 人 
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EIA T o 


上 用 机 器 


行 方式 处 到 























经 网 络 应 用 的 深入 ， 人 
多 原来 非 线 性 
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] 相 信 ， 在 深入 、 广 泛 应 用 的 基础 上 ， 这 个 领域 将 会 继续 发 展 ， 并 会 对 
日。 我 们 提出 的 神经 场 理 论 是 一 种 新 的 尝试 。 

结合 是 一 个 重要 的 研究 方向 。 模 糊 神 经 网 络 就 是 

结合 在 一 起 ， 在 理论 、 方 法 和 应 用 上 发 挥 各 自 的 优势 ， 设 计 出 具有 

















学 观点 在 现代 人 工 


思维 模型 有 其 对 应 关系 。 粗 略 地 划分 ， 






































究 感知 思维 。 表 1.1 





一 定 学 习 能 力 、 动 态 获取 知识 能 力 的 系统 。 
Brooks 提出 了 无 需 知识 表示 的 智能 [Brooks 1991a]， 无 需 推 理 的 智能 [Brooks 1991b]. 
他 认为 智能 只 是 在 与 环境 的 交互 作用 中 表现 出 来 ， 在 许多 方面 是 行为 心理 
智能 中 的 反映 ， 人 们 称 为 基于 行为 的 人 工 智 能 ， 简 言 之 ， 称 为 行为 主义 。 
这 三 种 研究 从 不 同 侧面 研究 人 的 自然 智能 ， 与 人 脑 
可 以 认为 符号 主义 研究 抽象 思维 ， 连 接 主 义 研究 形象 思维 ， 而 行为 主义 下 
给 出 了 符号 主义 、 连 接 主义 和 行为 主义 特点 的 比较 。 



































比较 
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底 向 上 








有 人 把 人 工 智 能 形成 两 大 类 : 一 类 是 符号 智能 ， 一 类 是 计算 智能 。 符 号 智能 是 以 知识 为 
基础 ， 通 过 推理 进行 问题 求解 。 也 即 所 谓 的 传统 人 工 智能 。 计 算 智 能 是 以 数据 为 基础 ， 通 过 


训练 建立 联系 ， 进 行 问题 求解 。 人 工 神 经 网 络 、 遗 传 算法 、 模 糊 系 统 、 进 
生命 等 都 可 以 包括 在 计算 
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化 程序 设计 、 人 工 











目前 ， 传 统 人 工 智能 主要 运用 知识 进行 问题 求解 。 从 实用 观点 看 ， 人 工 智能 是 一 门 知识 
工程 学 ， 以 知识 为 对 象 ， 研 究 知识 的 表示 方法 、 知 识 的 运用 和 知识 获取 。 本 书 主要 介绍 和 讨 
论 传统 人 工 智 能 的 内 容 。 有 关 计 算 智能 的 内 容 请 参阅 史 忠 植 的 《神经 计算 》 等 书 。 





















































1.5 人 工 智能 的 研究 方法 








从 20 世纪 50 年 代 以 来 ， 人 工 智能 经 过 发 展 ， 形 成 了 许多 学 派 。 不 同学 派 的 研究 方法 、 
学 术 观 点 、 研 究 重 点 有 所 不 同 。 这 里 ， 仪 以 认 知 学 派 、 风 辑 学 派 、 行 为 学 派 为 重点 ， 介 绍 人 
工 智能 的 研究 方法 。 






































1. 5. 1 认 知 学 派 




















以 Simon, Minsky 和 Newell 等 为 代表 ， 从 人 的 思维 活动 出 发 ， 利 用 计算 机 进行 宏观 功能 
模拟 。20 世纪 50 年 代 ，Newell 和 Simon 等 共同 倡导 “启发 式 程式 ”他们 编制 了 称 为 “Logic 
Theorist” 的 计算 机 程序 ， 模 拟人 证 明 数 学 定理 的 思维 过 程 。60 年 代 初 ， 他 们 又 研制 了 “ 通 
用 问题 求解 程序 (General Problem Solver”， 简 称 GPS， 分 三 个 阶段 模拟 了 人 在 解 题 过 程 中 的 
一 般 思 维 规律 : 首先 拟订 初步 解 题 计 划 ; 然后 利用 公理 、 定 理 和 规则 ， 按 规划 实施 解 题 过 程 ; 
不 断 进行 “目的 一 手段 ”分 析 ， 修 订 解 题 规划 ; 从 而 使 GPS 有 具有 一 定 的 通用 性 

1976 年 Newell 和 Simon 提出 了 物理 符号 系统 假设 ， 认 为 物理 系统 表现 智能 行为 必要 和 
充分 的 条 件 是 它 是 一 个 物理 符号 系统 。 这 样 ， 可 以 把 任何 信息 加 工 系统 看 成 是 一 个 具体 的 物 
理 系统 ， 如 人 的 神经 系统 、 计 算 机 的 构造 系统 等 。 所 谓 符号 就 是 模式 。 任 何 一 个 模式 ， 只 要 
它 能 和 其 它 模式 相 区 别 ， 它 就 是 一 个 符号 。 不 同 的 英文 字母 就 是 不 同 的 符号 。 对 符号 进行 操 
作 就 是 对 符号 进行 比较 ， 即 找 出 哪 几 个 是 相同 的 符号 ， 哪 几 个 是 不 同 的 符号 。 物 理 符 号 系统 
的 基本 任务 和 功能 是 辨认 相同 的 符号 和 区 分 不 同 的 符号 。 

20 世纪 80 年 代 Newell 等 又 致力 于 SOAR 系统 的 研究 。SOAR 系统 是 以 知识 块 (Chunking) 
理论 为 基础 ， 利 用 基于 规则 的 记忆 ， 获 取 搜 索 控 制 知识 和 操作 符 ， 实 现 通 用 问题 求解 。 

Minsky 从 心理 学 的 研究 出 发 ， 认 为 人 们 在 他 们 日 常 的 认识 活动 中 ， 使 用 了 大 批 从 以 前 的 
经 验 中 获取 并 经 过 整理 的 知识 。 该 知识 是 以 一 种 类 似 框架 的 结构 记 存 在 人 脑 中 。 因 此 ， 在 20 
世纪 70 年 代 他 提出 了 框架 知识 表示 方法 。 到 20 世纪 80 ER, Minsky 认为 人 的 智能 ， 根 本 不 
存在 统一 的 理论 。1985 年 ， 他 发 表 了 一 本 著名 的 书 《Society of Mind( 思 维 社会 )》。 书 中 指 
出 思维 社会 是 由 大 量具 有 某 种 思维 能 力 的 单元 组 成 的 复杂 社会 。 
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1. 5. 2 逻辑 学 派 















































逻辑 学 派 是 以 McCarthy M Nilsson 等 为 代表 ， 主 张 用 逻辑 来 研究 人 工 智 能 ， 即 用 形式 化 
的 方法 描述 客观 世界 。 他 们 认为 : 
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(1) 智能 机 器 必须 有 关于 自身 环境 的 知识 。 

















(2) à 


条 
(3) WHA 









































智能 机 器 要 能 陈述 性 地 表达 关 了 
能 机 器 表示 陈述 性 知识 的 语言 至 少 要 有 一 阶 逻 辑 的 表达 能 








自身 环境 的 大 部 分 知识 。 

















逻辑 学 派 在 人 工 智能 研究 中 ， 强 调 的 是 概念 化 知识 表示 、 模 型 论语 义 、 演 绎 推理 等 。 














McCarthy 主张 任何 事物 都 可 以 用 统一 的 逻辑 框架 来 表示 , 在 常识 推理 


1.5.3 行为 学 派 








人 工 智能 的 研究 大 部 分 是 建立 在 一 些 经 过 抽象 的 、 过 份 简 六 
认为 应 走出 这 种 抽象 模型 的 象牙 塔 ， 而 以 复杂 的 现实 世界 为 背景 ， 让 人 工 智能 理论 、 技 术 先 



































经 受 解决 实际 问题 的 考验 ， 并 在 这 种 考验 中 成 长 。 








Brooks 提出 了 无 需 知识 表示 的 智能 (Brooks 1991a) ， 无 需 推 型 






























































P 以 非 单调 逻辑 为 中 心 。 














的 现实 1 





























他 认为 智能 只 是 在 与 环境 的 交互 作用 中 表现 出 来 ， 其 基本 观点 : 





(1) 到 现场 去 ; 
(2) 物理 实现 ; 
(3) 初级 智能 ; 
(4) 行为 产生 智能 。 














以 这 些 观 点 为 基础 ，Brooks 研制 了 一 种 机 器 虫 ， 























一 内 





疆界 模型 之 上 , Brooks 








ERJ% RE (Brooks 1991b) 。 

















“相对 独立 的 功能 单元 ， 分 别 实 现 














避让 、 前 进 、 平 衡 等 功能 ， 组 成 分 层 异步 分 布 式 网 络 ， 取 得 了 一 定 程度 的 成 功 ， 特 别 对 机 器 











人 的 研究 开创 了 一 种 新 的 方法 。 

















不 同 的 人 工 智 能 学 派 , 对 基本 的 认 知 问题 给 以 不 同 的 回答 ,以 Nilsson 为 代表 的 逻辑 学 派 ， 
对 认 知 问题 的 1) 一 (4) 给 予 肯 定 的 回答 ， 对 (5) 持 中 立 观 点 。 以 Ne 
对 认 知 问题 的 U)、(3) 、(5) 给 予 肯定 的 回答 。 而 以 Brooks 为 代表 的 行为 学 派 ， 对 认 知 问题 

















(1) 一 (5) 均 持 否 定 的 看 法 。 





1.6 自动 推理 


从 一 个 或 几 个 已 知 的 判断 (前 提 ) 逻辑 地 




















这 是 事物 的 客观 联系 在 意识 中 的 反映 。 人 解决 问题 就 是 利 月 
论 。 自 动 推理 的 理论 和 技术 是 程序 推导 、 程 序 正 确 性 订 





























aan 


























域 的 重要 基础 。 












































自动 推理 早期 的 工作 主要 集中 在 机 器 定理 证 明 。 开 创 











生 的 工作 是 S 





个 新 的 判断 (结论 ) 的 思维 形式 称 为 推理 
以 往 的 知识 ， 
EW, BRAS. A 


已 
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well 为 代表 的 认 知 学 派 ， 






























































通过 推理 得 出 绪 
机 器 人 等 研究 领 

















imon 和 Newell 的 








Logic Theorist。1956 年 Robinson 提出 归结 原理 ， 把 自动 





EENE 


























法 推理 规则 简单 ， 而 且 在 逻辑 上 是 完备 的 ， 
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进 了 一 步 。 归 结 

















因而 成 为 逻辑 式 程序 设计 语言 Prolog 的 计算 模 














型 。 后 来 又 出 现 了 自然 演绎 法 和 等 式 重 写 式 等 。 这 些 方 法 在 某 些 方面 优 于 归结 法 ， 但 它们 本 
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E 解 性 的 制约 。 


从 任何 一 个 实用 系统 来 说 ， 总 存在 着 很 多 非 演绎 的 部 分 ， 





法 的 兴起 ， 并 削弱 了 企图 为 人 工 智 能 寻找 一 个 统 
每 一 种 推理 算法 都 遵循 其 特殊 的 、 与 领域 相关 的 策略 ， 并 但 






































从 男 一 方面 来 说 , 如 果 能 找到 一 个 统 








的 








个 很 强 的 推动 力 就 是 要 设法 寻找 更 为 一 般 的 、 统 











^uae 

















的 基 
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原理 的 观念 。 从 实际 

















因而 导致 了 各 种 各 样 推理 算 
的 观点 来 看 ， 
































理 理论 ， 
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人 工 智能 自动 推 
单调 推理 ， 指 的 是 一 个 正确 的 公 
了 。 非 单调 推理 明显 地 
下 的 推理 ， 若 发 现 不 一 致 ， 进 


1978 年 Reiter 
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单调 推理 复杂 。 非 单调 
行 回溯 ， 以 
首先 提出 了 非 单调 








rH 
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E 理 算法 。 
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1 会 使 预先 


向 于 使 用 不 同 的 知 
当然 是 很 有 用 的 。 人 工 智 能 理论 研究 的 一 
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表示 技术 。 

















里 研究 的 成 果 之 一 是 非 单调 逻辑 的 发 明 。 这 是 一 种 伪 演 绎 系统 。 所 谓 非 
里 加 到 理论 





所 得 到 的 一 些 结论 变 得 无 效 




















里 过 程 

















就 是 建立 假设 ， 进 行 标准 逻辑 意义 



































默认 推理 [Reiter 1980]. 
McCarthy 提出 限定 逻辑 
大 部 分 模型 ， 而 只 
准 。 















































的 方法 。 定 性 
以 及 它们 之 间 的 相互 作用 
































1979 年 Doyle Æ J JER 
[McCarthy 1980]. 
剩 下 有 关 p ge] Ps. ANTI FB SRY BE RE ZS 


定量 模拟 是 计算 机 在 科学 计算 领域 的 常规 应 
就 能 预测 或 解释 一 个 系统 的 行为 。 这 不 
理 把 物理 系统 或 物理 过 程 细 分 为 子 系统 或 子 过 程 ， 
或 影响 都 建立 起 结构 
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限定 某 个 ; 





3i] p sie 











蝎 消除 不 一 改 ， 再 建立 新 的 假设 。 
E 理 方法 封闭 世界 假设 (CWA) [Reiter 1978], 
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ERE At TMS[Doyle 1979]. 1980 年 


ERR T EA p 的 原 有 事实 所 建 的 
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]。 但 是 人 们 常常 不 需要 详细 
单 地 通过 演绎 进行 求解 





会 引出 不 同类 型 的 最 小 化 标 




















的 计算 数据 ， 
人 工 智能 提出 定性 推理 












































对 于 每 个 子 系统 或 子 过 程 
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获得 实际 物理 系统 的 行为 描述 和 功能 











于 部 件 的 定性 方程 方法 ，Forbus 的 定 4 





























定性 














与 定量 推理 的 结合 将 会 对 专家 系统 科学 决策 








在 现实 世界 中 存在 大 量 不 确定 问题 。 
事物 发 生 的 随机 性 , 人 类 知识 的 不 完全 、 不 可 靠 、 不 精确 











差异 。 





述 。 最 基本 的 定性 推 


生 进 程 方法 ， 








述 ， 


Kuipers 








通过 








局 部 











因果 性 的 传播 和 行为 合成 ， 





























里 方法 有 三 种 : 即 de 


Kleer 的 基 











的 基于 约束 的 定性 仿真 方法 。 

















不 确定 





A He ^E f 


生来 自 人 类 的 主观 认识 与 客观 实际 之 间 存 在 











iz 





EE 大 影响 。 


























模糊 性 和 歧义 性 
们 提出 了 不 同 的 理论 和 
理 方 法 有 如 下 几 种 : 
概率 论 被 广泛 地 
PROSPECTOR 专家 系统 中 ， 但 


都 反映 了 这 种 差异 ， 
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都 会 带 来 不 确 
E 理 方法 。 在 人 工 智能 和 知识 工程 中 ， 有 代表 性 的 不 确 


它 要 求 给 HH 








AE, 









































是 一 种 简单 有 效 的 方法 。 它 采用 了 








He fl H 























基础 。 





Dempster 和 Shafer 提出 证 据 至 






































广 ， 规 定 信任 函数 满足 概率 公理 更 弱 | 


LE 论 。 该 理论 引进 了 信人 有 
的 公理 ， 因此 信任 函数 可 以 有 作 概 率 函 数 的 超 


Ke 


直观 的 证 据 合 3 





ti 





于 处 理 随机 性 以 及 人 类 知识 的 不 可 靠 性 。Bayes 
假设 的 先 验 概率 。 在 MYCIN 中 采用 确信 度 方 法 
规则 。 其 缺点 是 缺乏 良好 的 理论 
































信任 函数 ， 人 们 无 需 给 出 具体 
分 布 如 以 约束 。 证 据 理论 有 坚实 的 理 






































的 概率 值 ， 而 只 
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基础 ，{ 
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和 不 一 致 ， 
E。 针 对 不 同 


然 语 言 中 存在 的 
定性 的 起 因 ， 人 
定性 理论 和 扒 




















的 不 有 


















































理论 被 成 功 地 用 在 











函数 的 概念 , 对 经 典 概率 加 以 推 





。 利 用 

















需要 根据 已 有 的 领域 知识 就 能 对 事件 的 概率 
是 它 的 定义 和 计算 过 程 比较 复杂 。 近 年 





X, 















































证 据 理论 逐步 引起 人 们 的 注意 ， 出 现 了 一 些 更 加 深入 的 研究 成 果 和 实用 系统 。 例 如 ，Zadeh 
把 证 据 理论 的 信任 函数 解释 为 二 阶 关 系 ， 并 在 关系 数据 库 中 找到 了 它 的 应 用 。Michacl 则 把 证 
据 理论 的 基本 概率 函数 推广 到 布尔 代数 。 

1965 年 Zadeh 提出 模糊 集 理论 ， 以 此 为 基础 出 现 了 一 系列 研究 成 果 ， 主 要 有 模糊 逻辑 、 

模糊 决策 和 可 能 性 理论 。Zadeh 为 了 运用 自然 语言 进行 推理 ， 对 自然 语言 中 的 模糊 概念 进行 
了 量化 描述 ， 提 出 了 语言 变量 、 语 言 值 和 可 能 性 分 布 的 概念 ， 建 立 了 可 能 性 理论 和 近似 推理 
方法 ， 引起 了 许多 人 的 研究 兴趣 。 模 糊 数学 已 广泛 应 用 于 专家 系统 和 智能 控制 中 ， 人们 还 
研制 模糊 计算 机 。 我 国学 者 在 理论 研究 和 应 用 方面 均 做 了 大 量 工作 ， 引起 国际 学 术 界 的 关 
注 。 同 时 ， 这 一 领域 仍然 有 许多 理论 问题 没有 解决 ， 而 且 也 存在 不 同 的 看 法 和 争议 ， 例 如 模 
糊 数学 的 基础 是 什么 ?模糊 逻辑 的 一 致 性 和 完全 性 问题 。 今 后 不 确定 推理 的 研究 重点 可 能 会 集 
中 在 如 下 三 个 方面 :一 是 解决 现 有 处 理 不 确定 性 的 理论 中 存在 的 问题 ;二 是 大 力 研 究 人 类 高 
效 、 准 确 的 识别 能 力 和 判断 机 制 ， 开 拓 新 的 处 理 不 确定 性 的 理论 和 方法 ;三 是 探索 可 以 综合 处 
理 多 种 不 确定 性 的 方法 和 技术 。 
证 明定 理 是 人 类 特殊 的 智能 行为 ， 不 仅 需 要 根据 假设 进行 风 辑 演绎 , 而 且 需 要 某 些 直 
觉 技 巧 。 机 器 定理 证 明 就 是 把 人 证 明定 理 的 过 程 通过 一 套 符 号 体系 加 以 形式 化 ， 变 成 一 系列 
能 在 计算 机 上 自动 实现 的 符号 演算 过 程 , 也 就 是 把 具有 智能 特点 的 推理 演绎 过 程 机 械 化 。 中 国 
科学 院 系统 所 吴 文 俊 教授 提出 的 平面 几何 及 微分 几何 的 判定 法 ， 得 到 国内 外 高 度 评价 。 








































































































































































































































































































































































































































































































1.7 机 器 学 习 






































知识 、 知 识 表 示 及 运用 知识 的 推理 算法 是 人 工 智 能 的 核心 ， 而 机 器 学 习 则 是 关键 问题 。 
数 百 年 来 ， 心 理学 家 和 哲学 家 们 曾 认为 ， 学 习 的 基本 机 制 是 设法 把 在 一 种 情况 下 是 成 功 的 
表现 行为 转移 到 另 一 类 似 的 新 情况 中 去 。 学 习 是 获取 知识 、 积 累 经 验 、 改 进 性 能 、 发 现 规律 、 
适应 环境 的 过 程 。 图 1. 2 给 出 了 学 习 的 简单 模型 。 模 型 中 包含 学 习 系 统 的 四 个 基本 环节 。 环 
境 提供 外 界 信息 ， 类 似 教师 的 角色 。 学 习 单元 处 理 环境 提供 的 信息 ， 相 当 于 各 种 学 习 算 法 。 
知识 库 中 以 某 种 知识 表示 形式 存储 信息 。 执 行 单元 利用 知识 库 中 的 知识 来 完成 某 种 任务 ， 并 
把 执行 中 的 情况 回 送 给 学 习 单元 。 学 习 使 系统 的 性 能 得 到 改善 。 机 器 学 习 的 研究 可 以 使 机 器 
自动 获取 知识 ， 赋予 机 器 更 多 的 智能 。 另 一 方面 可 以 进一步 揭示 人 类 思维 规律 和 学 习 奥 秘 ， 
帮助 人 们 提高 学 习 效 率 。 机 器 学 习 的 研究 还 会 对 记忆 存储 模式 、 信 息 输 入 方式 及 计算 机 体系 
结构 产生 重大 影响 。 
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图 1.2 简单 学 习 模型 























机 器 学 习 的 研究 大 致 经 历 了 四 个 阶段 。 早 期 研究 是 无 知识 的 学 习 ， 主要 研究 神经 元 模型 
和 基于 决策 论 方法 的 自 适应 和 自 组 织 系 统 。 但 是 神经 元 模型 和 决策 论 方法 当时 只 取得 非常 有 
限 的 成 功 ， 局 限 性 很 大 ， 研究 热情 大 大 降低 。20 世纪 60 年 代 处 于 低潮 ， 主 要 研究 符号 概念 
获取 。1975 年 Winston 发 表 了 从 实例 学 习 结构 描述 的 文章 ， 人 们 对 机 器 学 习 的 兴趣 开始 恢 
复 ， 出 现 了 许多 有 特色 的 学 习 算 法 。 更 重要 的 是 人 们 普遍 认识 到 ， 一 个 学 习 系 统 在 没有 知识 
的 条 件 下 是 不 可 能 学 到 高 级 概念 的 ， 因而 把 大 量 知识 引入 学 习 系统 做 为 背景 知识 ， 使 机 器 
学 习 理 论 的 研究 出 现 了 新 的 局 面 和 希望 。 由 于 专家 系统 和 问题 求解 系统 的 大 量 建造 ， “知识 
获取 成 为 严重 的 瓶颈 , 而 这 一 问题 的 突破 完全 依赖 于 机 器 学 习 研究 的 进展 。 机 器 学 习 的 研究 开 
始 进入 新 的 高 潮 。 
机 器 学 习 的 风范 主要 有 归纳 学 习 、 分 析 学 习 、 发 现 学 习 、 遗 传 学 习 和 连接 学 习 [Shi 1991] 。 
过 去 对 归纳 学 习 研 究 最 多 , 主要 研究 一 般 性 概念 的 描述 和 概念 聚 类 。 提 出 了 AQ 算法 、 变 型 空 
间 算 法 、ID3 算法 等 。 类 比 学 习 是 通过 目标 对 象 与 源 对 象 的 相似 性 ， 从 而 运用 源 对 象 的 求解 
方法 来 解决 目标 对 象 的 问题 。 分 析 学 习 是 在 领域 知识 指导 下 进行 实例 学 习 ， 包括 基于 解释 的 
学 习 、 知 识 块 学 习 等 。 基于 解释 的 学 习 是 从 问题 求解 的 一 个 具体 过 程 中 抽取 出 一 般 的 原理 ，3 
使 其 在 类 似 情况 下 也 可 利用 。 因 为 将 学 到 的 知识 放 进 知识 库 , 简化 了 中 间 的 解释 步骤 ， 可 以 提 
高 今后 的 解 题 效率 。 发 现 学 习 是 根据 实验 数据 或 模型 重新 发 现 新 的 定律 的 方法 。 近 年 来 ， 数 
据 库 知识 发 现 引 起 人 们 极 大 的 关注 。 从 事 人 工 智 能 研究 和 从 事 数 据 库 研究 的 人 们 都 认为 这 是 
一 个 极 有 应 用 意义 的 研究 领域 。 数 据 库 知识 发 现 主 要 发 现 分 类 规则 、 特 性 规则 、 关 联 规则 、 
差异 规划、 演化 规划 、 蜡 常规 则 等 。 数 据 库 知识 发 现 的 方法 主要 有 统计 方法 、 机 器 学 习 、 神 
经 网 路 、 多 维 数据 库 等 方法 。 遗 传 学 习 起 源 于 模拟 生物 繁衍 的 变异 和 达尔 文 的 自然 选择 , CUBE 
念 的 各 种 变 体 当 作物 种 的 个 体 ， 根据 客观 功能 测试 概念 的 诱发 变化 和 重组 合并 ， 决定 哪 种 
情况 应 在 基因 组 合 中 予以 保留 。 连 接 学 习 是 神经 网 络 通过 典型 实例 的 训练 ， 识 别 输入 模式 的 
不 同类 别 。 

机 器 学 习 的 研究 尚 处 于 初级 阶段 ， 必 须 大 力 开展 研究 的 一 个 人 工 智能 领域 。 只 有 机 器 学 
习 的 研究 取得 进展 ， 人 工 智 能 和 知识 工程 才 会 取得 重大 突破 。 今 后 机 器 学 习 的 研究 重点 是 
究 学 习 过 程 的 认 知 模型 、 机 器 学 习 的 计算 理论 、 新 的 学 习 算 法 、 综 合 多 种 学 习 方 法 的 机 器 学 
习 系 统 等 。 





























































































































































































































































































































































































































































































































ww ai bbt. com [1 HB DL O D D] 


1.8 分 布 式 人 工 智能 





人 们 在 研究 人 类 智能 行为 中 发 现 : 大 部 分 人 类 活动 都 涉及 多 个 人 构成 的 社会 团体 ， 大 型 
杂 问 题 的 求解 需要 多 个 专业 人 员 或 组 织 协作 完成 。“ 协作 ”是 人 类 智能 行为 的 主要 表现 形式 
之 一 ， 在 人 类 社会 中 普遍 存在 。 分 布 式 人 工 智 能 (Distributed Artificial Intelligence, 
简称 DAT) 正 是 为 适应 这 种 需要 而 兴起 的 。 

自 20 世纪 80 年 代 以 来 ， 随 着 计算 机 网 络 、 计 算 机 通信 和 并 发 程序 设计 技术 的 发 展 ， 分 
布 式 人 工 智 能 逐渐 成 为 人 工 智 能 领域 的 一 个 新 的 研究 热点 。 分 布 式 人 工 智 能 是 人 工 智 能 的 一 
个 分 支 ， 它 主要 研究 在 逻辑 上 或 物理 上 分 散 的 智能 动作 者 如 何 协调 其 智能 行为 ， 即 协调 它们 
的 知识 、 技 能 和 规划 ， 求 解 单 目 标 或 多 目标 问题 ， 为 设计 和 建立 大 型 复杂 的 智能 系统 或 计算 
机 支持 协同 工作 提供 有 效 途径 。 

DAI 一 词 产 生 于 美国 。 第 一 届 DAL 会 议 “The Workshop on Distributed Artificial 
Intelligence" F 1980 年 在 美国 的 Boston 的 MIT 召开 。 此 后 全 世界 各 地 的 有 关 DAL 或 者 包 
fr DAI 主题 的 各 种 会 议 不 断 举行 ， 为 DAI 技术 的 发 展 和 推广 起 了 很 大 的 促进 作用 。 作 为 一 门 
学 科 ，DAI 的 研究 和 实践 不 断 地 深入 、 扩 大 。 随 着 新 的 基于 计算 机 的 信息 系统 、 决 策 系统 和 知 
识 系 统 在 规模 、 范 围 和 复杂 程度 上 的 增加 ， 并 且 在 这 些 系统 中 嵌入 更 加 复杂 的 知识 的 要 求 的 
增加 ，DAI 技术 的 应 用 与 开发 越 来 越 成 为 这 些 系统 成 功 的 关键 。 

一 般 ，DAI 的 研究 可 分 为 两 个 大 方向 : 分 布 式 问 题 求解 ( DPS: Distributed Problem 
Solving) 和 多 主体 系统 (MAS: Multi-Agent System)。 它 们 处 于 同一 研究 范 系 的 两 个 端点 
上 。DPS 的 目标 是 要 创建 大 粒度 的 协作 群体 ， 它 们 之 间 共 同 工 作 以 对 某 一 问题 进行 求解 。 在 一 
个 纯粹 的 DPS 系统 中 ， 问 题 被 分 解 成 任务 ， 并 且 为 求解 这 些 任务 ， 需 要 仅 为 该 问题 设计 一 些 
专用 的 任务 执行 系统 。 所 有 的 交互 〈 如 果 有 ， 如 协作 等 ) 策略 都 被 集成 为 系统 设计 的 整体 部 
分 。 这 是 一 种 从 项 向 下 设计 的 系统 ， 因 为 处 理 系 统 是 为 满足 在 顶部 所 给 定 的 需求 而 设计 的 。 

与 DPS 系统 相反 ， 在 一 个 纯粹 的 多 主体 系统 中 ， 主 体 是 自主 的 ， 可 能 是 预先 存在 的 ， 并 
且 是 异 构 的 。 多 主体 系统 并 不 限制 为 一 个 单一 的 任务 。 多 主体 系统 的 研究 涉及 到 在 一 组 自主 
的 智能 主体 之 间 协 调 其 智能 行为 ， 协 调 它们 的 知识 、 目 标 及 规划 等 以 便 联 合 起 来 采取 行动 或 
求解 问题 。 虽 然 在 这 里 一 个 主体 也 可 以 是 某 个 任务 的 执行 者 ， 但 它 具 有 “开放 的 ”接口 ， 任 
何 “ 人 ”都 可 以 对 其 进行 存 取 。 该 主体 不 仅 可 以 处 理 单一 目标 ， 而 且 可 以 处 理 不 同 的 多 个 目 
标 。 

目前 计算 机 的 应 用 越 来 越 广泛 ， 所 需 处 理 的 问题 越 来 越 复杂 ， 问 题 求解 所 涉及 的 信息 、 
资料 、 数 据 很 难 集中 式 地 处 理 ， 并 且 求解 过 程 也 难以 集中 控制 。 这 种 数据 或 知识 的 分 布 以 及 
并 发 处 理 ， 对 AI 发 展 带 来 巨大 潜力 的 同时 也 带 来 了 各 种 有 待 于 解决 的 困难 问题 。DAI 系统 中 
各 主体 在 空间 上 的 分 布 性 ， 时 间 上 的 并 发 性 以 及 在 逻辑 上 的 依赖 关系 使 得 多 主体 系统 的 求解 
行为 较 之 单 主体 系统 更 复杂 。 

对 DAI 系统 的 研究 主要 原因 可 概括 为 : 
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(1) 技术 基础 一 一 -处 至 


的 并 且 








是 




















间 分 布 的 ， 如 对 空间 上 分 布 的 传感器 的 数据 的 解释 和 集成 ， 或 者 是 对 
能 是 功能 分 布 的 ， 如 为 了 解决 复杂 
K: 这 些 应 用 还 可 能 是 时 序 上 分 布 的 ， 例 如 在 一 个 工厂 中 ， 生 产 线 是 


人 的 控制 ; 





统 联合 起 











这 种 联结 

















恨 多 的 人 工 智 能 应 用 在 本 质 上 都 是 分 布 的 。 这 些 应 用 


























器 硬件 结构 技术 及 处 理 器 之 间 的 通信 技术 的 进步 使 得 大 量 复杂 
异步 执行 的 处 理 器 之 间 的 互联 成 为 可 能 。 
紧 耦 合 的 系统 ， 也 可 以 是 基于 局 域 网 络 的 比较 松 耦 合 的 系统 
通信 网 络 的 非常 松散 的 硝 合 系统 。 

(2) 分 布 式 问题 求解 一 一 一 








或 分 布 式 内 存 的 
理 上 分 布 的 














可 以 是 基 了 
， 甚 至 可 以 是 


FE 
7N 








gr oq 
d 
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可 能 是 空 


























这 些 应 用 也 可 




















工厂 中 共同 工作 的 机 器 
的 病例 将 儿 个 专业 的 医学 诊断 系 
1 几 个 工序 组 









































成 ， 每 个 工序 都 由 一 个 专家 系统 进行 调度 。 


(3) 
统 分 解 成 


对 多 个 模块 的 硬件 或 软件 错误 的 处 理 比 单一 的 整体 模块 具有 


一 些 相 对 











易于 系统 集成 


























分 布 式 人 工 智 能 系统 支持 模块 性 
来 说 简单 的 、 处 理 茶 个 特定 问题 的 模块 ， 使 得 系统 便于 





的 设计 及 实现 。 把 一 个 复杂 的 系 
建造 、 调 试 及 维护 。 
























































更 大 的 灵活 性 。 另 一 方面 ， 大 量 


的 已 经 存在 的 集中 式 的 人 工 智 能 应 用 系统 ， 如 果 可 以 稍 加 修改 即 用 于 构成 分 布 式 人 工 智 能 系 


统 ， 则 可 以 产生 很 大 的 经 济 效益 和 社会 效益 。 例 如 








家 系统 、 肠 道 疾病 诊断 专家 系统 等 独立 的 系统 ， 如 果 可 以 通 
多 专家 系统 则 可 以 节省 大 量 开 
有 效 地 集成 已 有 人 工 智 
(4) 智能 行为 的 新 途径 一 一 -通过 智能 主体 实现 自主 的 智能 行为 。 要 使 人 工 智 能 系 允 

的 组 成 ， 它 必须 具有 与 环境 之 间 进 行 交 互 的 作 f 


法 ， 就 是 

















思维 社会 
(5) 





VEIN & 


己 取 得 了 


BEWARE AD ACE BE 
它 不 断 地 与 环境 发 生 交互 作 


体 
体 。 


~ 





或 者 


一 个 系统 中 ， 主 体 可 以 是 同 构 的 ， 也 可 以 是 异 构 的 。 多 主体 的 下 
主体 之 间 协 调 其 智能 行为 ， 协 调 它 们 的 知识 、 
体 之 间 可 能 是 协作 关系 ， 也 可 能 存在 着 竞争 。 


问题 。 主 


一 利 

















， 上 原来 的 





肝病 诊断 专家 系统 、 胃 病 诊断 专 









































发 时 间 ， 并 产生 更 大 的 效用 。 


能 系统 的 方法 。 
























































认识 论 上 的 意义 





中 的 问题 和 理论 。 通 过 信念 、 知 识 、 希 望 、 意 图 























体系 统 ， 为 理解 和 仿真 认识 论 问 题 提供 有 效 的 手段 。 
MA, 无论 从 技术 上 还 是 社会 需求 上 ，DAI 系统 的 | 
术 来 解决 大 型 的 军事 领域 的 问题 是 必要 的 ， 也 是 十 分 











一 定 的 成 果 。 





用 ， 以 及 彼此 协作 和 协调 的 





过 少量 修改 建成 消化 道 疾 病 诊断 
我 们 提出 的 插件 式 构造 主体 的 方 














BH o 

















-分 布 式 人 工 智能 可 用 来 


究 和 验证 社会 学 、 


心理 学 、 管 理学 等 
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.KVE. dE 








标 、 协 作 等 ， 实 现 协同 工 














vay 





















































说 ， 主 体 是 一 个 








共同 特点 就 是 分 布 式 的 实体 行为 。 多 主体 系统 可 看 
主 的 主体 首先 被 定义 ， 然 后 看 





因为 在 原 











理 上 ， 分 散 自 


























究 的 一 个 分 文 。 在 多 主 
用 。 同 时 在 该 环境 中 还 有 其 


[心智 部 件 ， 如 信念 、 能 力 






































状态 




















目标 、 意 图 及 
分 布 











HG 
然 的 。 
































展 都 是 必然 的 。 利 用 DAI dx 
国内 从 事 这 方面 的 研究 











目前 ， 


























体系 统 中 ， 主 体 是 一 个 自主 的 实 
他 的 进程 发 生 ， 也 存在 其 他 的 主 
、 选 择 、 意 图 等 组 成 的 实体 。 在 
究 涉 及 到 在 一 组 自主 的 智能 
规划 以 联合 起 来 采取 行动 或 求解 
式 人 工 智能 和 多 主体 系统 的 一 个 


























SE 









































LI: El Y 
F REA 








JH 


底 向 上 的 设计 方法 设计 的 系统 。 




















究 怎 样 完 成 个 人 或 几 个 实体 的 任务 求解 。 























多 主体 系统 不 仅 可 以 处 理 单 




















或 物理 











上 分 离 的 多 个 主体 如 何 并 发 计算 、 相 互 协作 地 实现 问题 求解 。 殿 
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目标 , t n] DARE ANTE RIS Hb. BEAK ARSE BM 

















究 在 逻辑 
主要 目的 在 于 分 析 
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rH 

















设计 大 型 复杂 的 协作 智能 系统 ， 如 大 型 知识 信息 系统 、 智 能 机 器 人 等 。 

目前 ， 多 主体 系统 的 研究 非常 活跃 。 多 主体 系统 试图 用 主体 来 模拟 人 的 理性 行为 ， 主 要 
应 用 在 对 现实 世界 和 社会 的 模拟 、 机 器 人 和 智能 机 械 等 领域 。 主 体 本 身 需 要 具有 自治 性 、 对 
境 的 交互 性 、 协 作 性 、 可 通讯 性 ， 以 及 长 寿 性 、 自 适应 性 、 实 时 性 等 特性 。 而 在 现实 世界 
生存 、 工 作 的 主体 ， 要 面 对 的 是 一 个 不 断 变化 的 环境 。 在 这 样 的 环境 中 ， 主 体 不 仅 要 保持 




























































































对 紧急 情况 的 及 时 反应 ， 还 要 使 用 一 定 的 策略 对 中 短期 的 行为 作出 规划 ， 进 而 通过 对 世界 和 











为 








供 
立 
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我 





它 主体 的 建 模 分 析 来 预 涡 














| 未 来 的 状态 ， 以 及 通过 通讯 语言 实现 和 其 他 主体 的 协作 或 协商 。 





























了 使 主体 表现 出 这 样 的 性 质 ， 需 要 研究 主体 的 结构 。 因 为 主体 的 结构 和 它 的 功能 是 紧密 相 
关 的 ， 不 合理 的 结构 将 大 大 限制 主体 的 功能 ， 而 合理 的 结构 则 将 给 实现 主体 的 高 度 智能 化 提 



























































支持 。 我 们 提出 一 种 复合 式 的 结构 ， 即 在 一 个 主体 中 有 机 地 组 合 了 多 种 并 行 执行 、 相 对 独 
但 又 相互 作用 的 智能 形态 ， 其 中 包括 反射 、 规 划 、 建 模 、 通 讯 和 决策 生成 等 。 我 们 提出 # 



































分 实现 了 一 个 多 主体 处 理 














环境 MAPE (Multi-Agent Processing Environment)。 在 MAPE 中 ， 











们 提出 了 一 种 基于 主体 内 核 的 插件 式 地 构造 主体 的 方法 。 使 用 MAPE 环境 和 插件 式 的 构造 方 
法 ， 可 以 方便 地 构造 和 调试 复合 式 结构 的 主体 。 











计算 机 的 发 展 已 经 经 历 了 两 个 阶段 。 在 第 一 个 阶段 ， 采 用 冯 。 诺 伊 曼 体 系 结构 ， 主 要 用 











于 

















而 这 些 问题 属于 直 


难 。 
效 的 算法 是 研 








数值 计算 、 文 档 处 理 、 数 据 库 管理 和 检索 。 这 些 应 用 都 有 明确 的 算法 ， 仪 在 编程 方面 较 蒜 
第 二 个 阶段 是 面向 符号 和 逻辑 的 处 理 ， 主 要 通过 推理 ， 进 行 知识 信息 处 理 。 如 何 确定 有 
[ 究 的 重点 。 上 述 这 些 应 用 ， 都 属于 理想 世界 的 问题 ， 具 有 上 良 定义 和 明确 的 描述 。 


























1.9 人 工 思 维 模型 
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现实 世界 的 问题 大 多 上 共有 病态 定义 的 结构 ， 例 如 模式 识别 、 不 完全 信息 的 问题 求解 和 学 习 等 ， 















































有 下 列 特 点 : 
(1) 包含 意义 不 明确 或 不 确定 信息 的 各 种 复杂 情况 的 集成 ; 
(2) 主动 获取 必要 的 信息 和 知识 ， 通 过 归纳 学 习 范 化 知识 ; 
(3) 系统 本 身 能 适应 用 户 和 环境 的 变化 ; 

(4) 根据 处 理 对 象 系统 进行 自 组 织 ; 


实际 上 ， 具 有 大 规模 并 行 和 也 
模型 ( 见 图 1. 3) 。 


由 





觉 信息 处 理 的 范畴 。 
为 了 处 理 直 觉 信息 ， 必 须 研究 柔性 信息 处 理 的 理论 和 技术 。 真 实 世 界 的 所 谓 柔 性 问题 具 
















































































(5) 容错 处 理 能 力 。 
































[分 布 式 信息 处 理 功 能 的 人 脑 神经 网 络 自 然 地 支持 柔性 信息 处 理 。 














此 ， 作 者 提出 了 人 工 思 给 
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挥 各 种 


人 工 智 能 研究 的 一 个 最 习 


知识 工 


系统 等 。 





类 计算 
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图 1.3 所 示 的 人 工 思 维 





处 理 范 型 的 特 




















长 ， 实 现 集 体 














程 成 为 人 工 智 














机 程序 包括 两 部 分 : 一 是 知识 库 ， 它 表示 和 存储 
构 集 合 。 知 识 库 不 仅 包含 了 有 关 领 域 的 事实 ， 
E 理 方法 集合 ， 





是 构造 推理 路 






















































































楚 地 表明 ， 人 工 思 维 将 以 开放 式 自 主 系统 为 基础 ， 充 分 发 
E， 解 决 真实 世界 的 问题 。 











图 1.3 人 工 思维 模型 
H 
智能 ， 才 能 达到 和 柔性 信息 处 到 





1.10 ”知识 系统 




















要 的 动力 是 建立 知识 系统 以 求解 困难 问题 .20 世纪 80 年 代 以 来 ， 


能 应 用 最 显著 的 特点 。 知 识 系统 包括 专家 系统 、 知 识 库 系统 、 智 能 决策 











1965 年 ， 为 阐明 有 机 化 学 结构 而 创建 的 DENDRAL 


























径 的 一 组 





























发 展 成 为 一 类 专家 系统 的 程序 。 这 
任务 所 指定 领域 知识 的 一 组 数据 结 





























于 推理 采用 的 











知 
识 的 共 


算 所 于 








1990 年 完成 








显 特 色 











是 将 














机 理 、 概 念 不 同 ， 推 理 
识 库 系统 是 把 知 i 
享 。 美国 推出 了 KBMS 软件 产品 。 日 
国家 七 五 重点 科技 攻关 项 目 知识 局 
理 和 和 查询 结合 起 来 ， 改 善 了 知识 库 的 维护 了 








了 











提供 有 














决策 支持 系统 (DSS) 是 在 管理 








很 快 。 








用 的 环境 。 























而 且 包 含 专家 水 平 的 局 发 式 知 识 。 
以 便 导 致 问题 求解 、 假 设 的 形成 、 
机 形成 多 种 范 型 的 格 
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力 能 ， 





























zi 70 年 代 初 。 由 了 
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已 为 各 级 决策 人 员 所 采 月 
支持 科学 决策 的 关键 技术 之 一 。 早 期 的 决策 支持 系统 是 在 


规范 模型 (如 运筹 学 模型 、 经 济 计量 模型 等 ) 而 成 。1980 fE, Sprague 








1988), 





























Hl f KBMS 。 中 国 
管理 系统 软件 KBMS。 这 些 软件 的 明 


另 一 是 推理 
目标 的 满足 























只 以 一 定 的 结构 存 入 计算 机 ， 进行 知识 的 管理 和 问题 求解 ， 实 现 知 
本 的 NTT ZH 








科学 院 计 














为 开发 





























库 的 DSS 结构 ， 产 生 了 很 
能 化 的 DSS。1986 年 ， 作 者 提 昌 



































k 体 领域 的 知识 系统 


信息 系统 (MIS) 的 基础 上 发 展 起 来 的 , 这 一 概念 始 于 20 
F 它 是 提高 企业 竞争 力 、 生 产 力 以 及 决定 经 营 成 败 的 重要 工具 ， 所 以 发 
昌 。 在 国内 也 引起 了 各 方面 的 关注 。 决 策 支 持 技术 是 
管理 信息 系统 的 基础 上 ， 增加 一 些 
提出 基于 数据 库 和 模型 
大 的 影响 。 最 近 几 年 ， 人 工 智 能 技术 逐步 应 用 于 DSS, 
由 数据 库 、 模 型 库 、 知 识 库 等 组 成 的 智能 决策 系统 ( 史 趾 植 


Ent 


长 
































产生 了 智 





为 解决 半 结 构 、 非 结构 化 的 决策 问题 提供 了 有 效 的 手段 ， 提高 了 科学 管理 的 水 平 。 智 
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能 决策 系统 的 特点 是 将 人 工 智能 技术 应 用 于 DSS， 并 且 将 数据 库 技术 、 情 报 检索 技术 与 基于 
模型 和 方法 的 定量 分 析 技 术 相 结合 。20 世纪 90 年 代 , 我 们 采用 多 主体 技术 建立 群体 决策 系统 ， 
引起 了 人 们 的 兴 
建造 智能 系统 可 以 模仿 、 延 伸 和 扩展 人 的 智能 ， 实 现 某 些 ”机 器 思维 “， 具 有 极 大 的 理论 
意义 和 实用 价值 。 根 据 智能 系统 具有 的 知识 和 处 理 范 型 的 情况 ， 可 以 分 成 四 类 ; 
单 领域 知识 单 处 理 范 型 智能 系统 、 多 领域 知识 单 处 理 范 型 智能 系统 、 单 领域 知识 多 处 理 范 型 
智能 系统 、 多 领域 知识 多 处 理 范 型 智能 系统 。 

1， 单 领域 知识 单 处 理 范 型 智能 系统 

系统 具有 单一 领域 的 知识 ， 并 且 只 有 一 种 处 理 范 型 。 例 如 ， 第 一 代 、 第 二 代 专 家 系统 和 
智能 控制 系统 属于 这 种 类 型 。 

专家 系统 是 运用 特定 领域 的 专门 知识 ， 通 过 推理 来 模拟 通常 由 人 类 专家 才能 解决 的 各 种 
复杂 的 、 具 体 的 问题 ， 达 到 与 专家 具有 同等 解决 问题 能 力 的 计算 机 智能 程序 系统 。 它 能 对 决 
策 的 过 程 做 出 解释 , 并 有 学 习 功 能 , 即 能 自动 增长 解决 所 需 的 知识 。 第 一 代 专 家 系统 (DENDRAL、 
MACSYMA 等 ) 以 高 度 专业 化 、 求 解 专 门 问题 的 能 力 强 为 特点 ， 但 在 体系 结构 的 完整 性 、 可 移植 
性 等 方面 存在 缺陷 , 求解 问题 的 能 力 弱 。 第 二 代 专 家 系统 (MYCIN、 CASNET、 PROSPECTOR, HEARSAY 
等 ) 属 单 学 科 专 业 型 、 应 用 型 系统 ， 其 体系 结构 较 完整 ， 移 植 性 方面 也 有 所 改善 ， 而 且 在 系统 
的 人 机 接口 、 解 释 机 制 、 知 识 获 取 技 术 、 不 确定 推理 技术 、 增 强 专家 系统 的 知识 表示 和 推理 
方法 的 启发 性 、 通 用 性 等 方面 都 有 所 改进 。 

2， 多 领域 知识 单 处 理 范 型 智能 系统 

多 领域 知识 单 处 理 范 型 智能 系统 具有 多 种 领域 的 知识 ， 而 处 理 范 型 只 有 一 种 。 大 多 数 分 
布 式 问题 求解 系统 、 多 专家 系统 属于 这 种 类 型 。 一 般 采 用 专家 系统 开发 工具 和 环境 来 研制 这 
种 大 型 综合 智能 系统 。 
于 智能 系统 在 工程 技术 、 社 会 经 济 、 国 防 建设 、 生 态 环境 等 各 个 领域 的 广泛 应 用 ， 对 
智能 系统 的 功能 提出 多 方面 的 要 求 。 许 多 实际 问题 的 求解 ， 例 如 ， 医 学 诊治 、 经 济 计划 、 盏 
事 指挥 、 金 融 工 程 、 作 物 栽培 、 环 境 保护 等 ， 往 往 需要 应 用 多 学 科 、 多 专业 的 专家 知识 和 经 
验 。 现 有 的 许多 专家 系统 大 多 数 是 单 学 科 、 专 门 性 的 小 型 专家 系统 ， 不 能 满足 用 户 的 实际 需 
求 。 建 立 多 领域 知识 单 处 理 范 型 智能 系统 在 一 定 程度 上 可 以 达到 用 户 的 要 求 。 这 类 智能 系统 
的 特点 是 : 

(1) ”面向 用 户 实际 的 复杂 问题 求解 ; 

(2) ”应 用 多 学 科 、 多 专业 、 多 专家 的 知识 和 经 验 ， 进 行 并 行 协 同 求解 ; 

(3 ”基于 分 布 式 、 开 放 性 软 硬 件 和 网 络 环境 ; 

(4) ”利用 专家 系统 开发 工具 和 环境 ; 

(5) ”实现 知识 共享 与 知识 重用 。 
单 领 域 知识 多 处 理 范 型 智能 系统 
单 领域 知识 多 处 理 范 型 智能 系统 具有 单一 领域 的 知识 ， 而 处 理 范 型 有 多 种 。 例 如 ， 混 合 
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ZRH 


能 系统 属于 这 种 类 型 。 
































一 般 可 以 用 神经 网 络 通过 训练 ， 获 得 知识 。 然 后 






























































































































































































































































， 转 换 成 产生 式 规 





RY 


Ft 
则 ， 提 供给 推理 机 在 求解 问题 时 使 用 。 

在 进行 问题 求解 时 ， 也 可 以 采用 多 种 机 制 处 理 同 一 个 问题 。 例 如 ， 疾 病 诊 断 系统 ， 既 可 
采 符 号 推理 的 方法 ， 也 可 通过 人 工 神经 网 络 。 让 它们 同时 处 理 相 同 的 问题 ， 然 后 比较 它们 的 
结果 ， 这 样 容易 取 得 正确 的 结果 ， 避 免 片面 性 。 

4. 多 领域 知识 多 处 理 范 型 智能 系统 

图 1.4 给 出 了 多 领域 知识 多 处 理 范 型 智能 系统 的 示意 图 。 该 种 系统 具有 多 种 领域 的 知识 ， 
而 且 处 理 范 型 也 有 多 种 。 图 中 集体 智能 (collective intelligence) 的 含义 是 , 在 多 种 处 至 
型 的 环境 下 ， 各 种 处 理 机 制 各 行 其 事 ， 各 司 其 职 ， 协 调 工 作 ， 表 现 为 集体 的 智能 行为 。 





















































































































































































































































图 1.4 多 领域 知识 多 处 理 范 型 智能 系统 
综合 决策 系统 、 综 合 知识 系统 属于 多 领域 知识 多 处 理 范 型 智能 系统 。 在 这 种 系统 中 ， 基 
于 推理 的 抽象 思维 采用 符号 处 理 的 方法 ;而 基于 模式 识别 、 图 像 处 理 之 类 的 形象 思维 采用 
经 计算 。 
智能 问题 多 数 具 有 病态 结构 ， 研 究 的 对 象 也 在 不 断 地 变化 ， 很 难 找到 一 种 精确 的 算法 进 
行 求解 。 构 造 人 机 统一 、 与 环境 进行 交互 、 反 馈 的 开放 系统 是 解决 这 类 智能 问题 的 途径 。 所 
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胃 开 放 系统 是 指 系统 在 操作 过 程 中 永远 有 未 预料 的 后 


在 总 结 和 分 析 已 有 知识 系统 的 设计 方法 和 实现 技术 的 
用 来 实现 多 种 知识 表示 、 综 合 知 识 库 、 
能 行为 等 功能 的 大 型 综合 知识 系统 。 这 类 知识 系统 是 当前 实现 多 领域 知识 多 处 ] 
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统 的 主要 途径 。 

习题 
l. 什么 是 人 工 智能 ? 它 的 研究 目标 是 什么 ? 
2. 简 述 人 工 智 能 研究 发 展 的 主要 阶段 。 
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E 何 时 候 从 外 部 接收 新 的 信 





BE 上， 人 们 研究 智能 主体 技术 ， 
只 协同 工作 、 自 动 知 识 获取 、 不 断 改 善 系统 的 智 





LE 范 型 智能 系 





POP Eg pe 














人 工 智能 研究 的 基本 问题 是 什么 ? 
什么 是 物理 符号 系统 ? 什么 是 物理 符号 假设 ? 


































































































什么 是 符号 智能 ? 什么 是 计算 智能 ? 
请 描绘 机 器 学 习 的 简单 模型 ， 并 论述 各 个 基本 环节 的 基本 内 容 。 
什么 是 分 布 式 人 工 智能 ， 它 包括 哪些 研究 方向 。 

从 目前 的 计算 机 是 否 可 以 解决 下 列 任务 : 


参考 相关 文献 ， 讨 i 


a) 在 国际 象棋 比 
b) 在 围棋 比赛 中 

















c) ”发 现 并 证 明 新 的 数学 定理 














战胜 国际 特级 大 师 











战胜 九段 高 手 




















d ”自动 找到 程序 中 的 bug 


























知识 系统 如 何 分 类 ? 怎样 建立 集体 的 智能 行为 ? 
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2.1 概述 


亚 里 斯 多 得 从 数学 的 研究 中 分 离 出 逻辑 学 。 莱 布 尼 茨 把 数学 的 方法 引入 逻辑 领域 ， 创 立 



































了 数理 逻辑 。 在 本 世纪 30 年 代 以 后 ， 数 学 方法 广泛 渗透 与 运用 于 数理 逻辑 ， 使 得 数理 逻辑 成 
为 数学 领域 中 与 代数 、 几 何等 并 列 的 学 科 之 一 。 现 代数 理 惕 辑 可 以 分 为 逻辑 运算 、 证 明 论 、 






































公理 集合 论 、 递 归 论 和 模型 论 。 






































逻辑 方法 是 计算 机 科学 ， 尤 其 是 人 工 智 能 研究 中 的 主要 形式 化 工具 。 从 语义 学 、 程 序 设 
计 语 言 、 程 序 规范 理论 到 程序 验证 理论 ， 从 数据 库 理论 、 知 识 库 理 论 到 智能 系统 ， 直 到 机 器 
人 的 研究 ， 所 有 的 领域 或 多 或 少 都 与 旭 辑 学 有 着 若干 联系 。 而 则 辑 方 法 之 所 以 成 为 计算 机 科 

























































































学 和 人 工 智 能 研究 的 主要 工具 ， 其 根源 可 以 追溯 到 计算 机 科学 和 逻辑 学 所 追求 的 目标 在 深层 
次 上 的 一 致 性 。 从 本 质 上 来 说 ， 计 算 机 科学 就 是 要 用 计算 机 来 模拟 人 脑 的 行为 和 功能 ， 使 计 
算 机 成 为 人 脑 的 延 促 。 而 对 于 人 脑 的 行为 和 功能 的 模拟 ， 实 质 上 就 是 模拟 人 的 思维 过 程 。 正 
是 计算 机 科学 所 追求 的 这 个 目标 ， 浊 辑 学 这 个 以 研究 人 的 思维 规律 和 法 则 的 学 科 ， 它 的 研究 
方法 和 研究 成 果 自 然而 然 地 成 为 计算 机 科学 研究 所 选用 的 工具 。 由 于 人 类 智能 行为 在 很 大 程 






























































































































































度 上 是 通过 语言 和 文字 表达 出 来 的 ， 因 此 ， 从 技术 上 来 说 ， 计 算 机 科学 模拟 人 类 思维 ， 也 是 

















从 模拟 人 类 的 自然 语言 作为 出 发 点 的 。 围 绕 语言 的 概念 进行 的 研究 是 计算 机 科学 (尤其 是 人 





工 智能 ) 的 一 个 核心 领域 。 





























逻辑 学 研究 人 的 思维 是 从 研究 人 的 自然 语言 开始 入 手 的 ， 计 算 机 科学 模拟 人 的 思维 同样 



























































是 从 语言 开始 的 。 与 语言 相关 的 论题 是 贯穿 计算 机 科学 领域 的 重要 问题 ， 许 多 的 领域 与 语言 
相关 ， 例 如 ， 软 件 领 域 的 程序 设计 语言 和 形式 语义 学 ， 人 工 智 能 领域 中 数据 和 知识 的 表示 和 
推理 ， 自 然 语 言 处 理 中 的 计算 语言 学 等 等 。 总 起 来 说 ， 表 示 和 推理 是 计算 机 科学 和 人 工 智 能 


























领域 的 基本 问题 。 大 多 数 智能 行为 的 高 级 形态 需要 对 于 知识 进行 直 


知识 表示 的 重要 方式 。 





























































































































智能 行为 的 基础 是 知识 ， 尤 其 是 所 谓 的 常识 性 知识 。 人 类 的 智能 行为 对 于 知识 的 依赖 主 
要 表现 在 对 于 知识 的 利用 ， 即 利用 已 经 具有 的 知识 进行 分 析 、 猜 测 、 判 断 、 预 测 等 等 。 人 类 
利用 知识 可 以 预测 未 来 ， 由 己 知 的 情况 推测 未 知 的 情况 、 由 发 生 的 事件 预测 还 未 发 生 的 事件 
等 等 。 但 是 ， 当 人 们 希望 计算 机 具有 智能 行为 时 ， 除 了 告诉 计算 机 如 何 像 人 一 样 地 利用 知识 
以 外 《对 于 知识 进行 推理 )， 一 个 更 为 基础 和 先行 的 工作 是 如 何 使 计算 机 上 其 有 知识 (对 于 知识 
进行 表示 )， 即 在 计算 机 上 如 何 表达 人 类 的 知识 。 要 使 得 一 个 系统 成 为 智能 的 系统 ， 它 必须 具 


[ 接 的 表示 ， 而 形式 迪 辑 是 







































































有 知识 ， 而 且 目 前 能 够 达到 这 个 目的 的 唯一 方法 就 是 把 系统 幅 入 到 菜 种 所 谓 的 知识 表示 的 结 
构 中 去 。 由 此 分 析 以 及 通过 对 比 我 们 不 难看 到 ， 人 工 智能 对 于 知识 的 这 两 个 关注 点 与 逻辑 对 
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于 上 自然 语言 的 两 个 关注 点 (自然 语言 的 精确 结构 和 推理 问题 〉 是 完全 重合 的 。 迪 辑 学 对 于 日 
然 语 言 的 精确 结构 以 及 对 于 推理 的 研究 正好 服务 于 人 工 智能 对 于 知识 研究 的 两 点 要 求 。 当 人 
们 利用 逻辑 于 智能 系统 时 ， 这 两 个 方面 是 同时 加 以 考虑 的 。 由 于 一 个 逻辑 系统 的 表示 能 力 强 
弱 和 推理 性 质 优 劣 之 间 存 在 某 种 冲突 ， 因 此 ， 在 实际 的 研究 中 常常 在 它们 两 者 之 间 进 行 平衡 
和 折衷 。 从 某 种 意义 上 来 说 ， 人 们 利用 逻辑 对 于 知识 进行 推理 在 多 辑 应 用 于 人 工 智能 研究 ! 
的 作用 远 远 超过 了 单纯 的 知识 表示 。 因 为 ， 光 和 辑 推 理 所 涉 及 的 不 单单 是 知识 的 外 在 形式 ， 它 
事实 上 涉及 到 的 是 知识 的 内 容 ， 是 形式 的 知识 所 包含 的 意义 的 内 在 联系 。 虽 然 从 表面 上 看 ， 
推理 是 形式 的 ， 但 是 逻辑 学 所 追求 和 保证 的 就 是 知识 的 形式 和 内 容 之 间 的 固定 联系 。 风 辑 学 
的 这 种 追求 与 保证 使 得 对 于 知识 的 推理 使 得 机 器 对 于 知识 的 理解 不 是 形式 上 的 而 是 含义 上 
的 。 研 究 包 含 在 知识 的 形式 表示 之 上 的 知识 的 含义 ， 对 于 智能 研究 是 本 质 的 一 点 ， 这 也 正如 
研究 信息 的 含义 高 于 信息 的 形式 一 样 。 比 通信 更 复杂 的 信息 活动 (如 推理 、 思 维和 决策 等 等 ) 
恰恰 需要 利用 信息 的 内 容 和 价值 因素 。 一 般 来 说 ， 不 了 解 信 息 的 内 容 和 价值 ， 很 难 作出 科学 
的 推理 、 思 维和 决策 。 

多 数 的 基于 逻辑 的 智能 系统 使 用 一 阶 逻辑 或 者 它 的 一 些 扩 张 形式 。 一 阶 逻 辑 的 优点 是 它 
具有 相当 强 的 表达 能 力 。 有 的 人 工 智 能 专家 坚信 所 有 的 人 工 智能 中 的 知识 表示 问题 完全 可 以 
在 一 阶 风 辑 的 框架 中 得 以 实现 。 一 阶 风 辑 在 表达 不 确定 性 知识 时 其 表达 能 力也 是 很 强 的 。 例 
如 ，3xP 了 (表达 在 所 考虑 的 论 域 中 存在 一 个 共有 性 质 P 的 对 象 ， 而 具体 的 是 哪 一 个 对 象 具有 
此 性 质 则 是 待 确定 的 ， 再 如 ，Pv Quo P 和 0 这 两 个 性 质 之 间 有 一 个 是 成 立 的 ， 至 于 到 底 是 
哪 一 个 成 立 则 是 根据 具体 的 情况 而 定 的 。 此 外 ， 一 阶 人 逻辑 还 有 一 个 完备 的 公理 系统 。 完 备 的 
公理 体系 为 我 们 设计 有 关 推 理 的 策略 和 算法 提供 了 一 个 参考 基准 。 虽 然 ， 有 人 坚信 从 本 质 上 
看 ， 一 阶 风 辑 对 于 知识 表示 是 足够 的 ， 但 从 实际 应 用 的 角度 看 ， 为 方便 、 清 楚 和 简洁 起 见 ， 
知识 表示 不 一 定 非得 从 一 阶 逻辑 出 发 。 事 实 上 ， 人 们 从 实际 应 用 出 发 已 经 发 明和 建立 了 许多 
适用 于 不 同 目 的 的 逻辑 系统 。 以 下 是 其 中 的 一 些 例子 : 

(1) 为 了 表示 关于 认 知 的 有 关 概 念 ， 如 相信 、 知 道 、 愿 望 、 意 图 、 目 标 、 承 诺 等 等 ， 人 
们 引进 了 刻 划 各 种 认 知 概念 的 模 态 逻辑 ; 

(2) ”为 了 刻 划 智能 系统 中 的 时 间 因 素 ， 人 们 在 逻辑 系统 中 引进 时 间 的 概念 ， 提 出 了 各 种 
I HX Rs 

(3) ”为 了 描述 各 种 不 确定 的 和 不 精确 的 概念 ， 人 们 引进 了 所 谓 模 糊 逻 和 辑 ， Oe 
接 建立 在 自然 语言 上 的 逻辑 系统 ， 与 其 它 逻辑 系统 相 比 较 ， 它 考虑 了 更 多 的 上 自然 语言 的 成 分 。 
按照 其 创始 人 Zadeh 的 说 法 就 是 词语 上 的 计算 , 表示 为 一 个 公式 , Bl fuzzy logic=computing 
with words; 

(4) 人 类 的 知识 与 人 类 的 活动 是 息息相关 的 ， 人 类 正 是 在 各 种 活动 和 行为 中 获得 知识 的 。 
因此 ， 行 为 或 者 动作 的 概念 在 智能 系统 中 是 一 个 关键 的 概念 。 动 作 的 概念 与 一 般 逻 辑 中 的 前 
态 的 概念 很 不 相同 ， 它 是 一 个 动态 的 概念 ， 动 作 的 发 生 影响 着 智能 系统 的 性 质 。 对 于 动作 的 
考虑 ， 给 人 工 智能 界 剖 来 了 许多 难题 ， 如 框架 问题 、 量 词 问题 等 等 。 为 了 刻 划 动作 的 概念 ， 
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人 们 引进 了 一 些 新 的 逻辑 体系 来 刻 划 它 。 
(5) 计算 机 对 于 人 类 进行 决策 时 进行 若干 方面 的 文 持 已 经 成 为 计算 机 应 用 的 一 个 重要 方 


面 。 人 类 在 决 


























策 时 ， 对 于 各 种 方案 和 目标 有 一 定 的 偏好 和 选择 。 这 时 “7 















































册 爱 ”就 成 为 了 一 个 


基本 的 概念 。 为 了 表述 和 模拟 人 类 在 决策 时 的 选择 的 规律 和 行为 ， 对 于 “ 侦 爱 ”这 个 词 的 研 
究 就 是 不 可 避免 的 。 于 是 ， 基 于 管理 科学 的 所 谓 的 偏爱 网 辑 被 提出 并 加 以 研究 。 





(6) 时 间 


述 。 例 如 ,“ 一 会 儿 ”“ 相 当 长 2“ 断断续续 地 ”“ 偶 尔 


















































LEEK EAE. A 


逻辑 系统 专门 



































分 那样 的 表示 和 运算 来 形式 化 这 些 句 子 。 











2. 2 逻辑 程序 设计 



































是 智能 系统 中 最 重要 的 几 个 概念 之 一 。 人 类 使 用 各 类 副词 来 对 时 间 概 念 加 以 措 
”等 等 ， 这 一 类 词 在 我 们 的 日 常生 活 中 





























有 这 些 词 的 句子 显然 是 很 难 用 经 典 的 时 序 迪 辑 来 刻 划 的 ， 于 是 有 人 引进 了 一 种 
刻 划 这 类 人 句子。 其 基本 思想 是 利用 数学 中 积分 的 思想 ， 通 过 对 时 间 的 菜 种 像 积 


Prolog 程序 就 是 一 种 逻辑 程序 ， 后 面 我 们 的 讨论 基于 的 都 是 Prolog 语言 。Prolog 是 一 种 

















交互 式 语言 ， 是 人 们 多 年 研究 成 果 的 结晶 。Prolog 的 第 一 个 正式 版 本 是 1970 年 代 法 国 
Marseilles 大 学 的 Alain Colmerauer 作为 PROgramming in LOGic 的 了 
Prolog 已 成 为 人 工 智 能 应 用 和 专家 系统 开发 的 重要 的 工具 。 





















































Prolog 是 


问题 进行 求解 


1. Prolog 是 数据 和 程序 的 统一 。Prolog 提供 


nam 
程序 











种 描述 性 语言 ,只 要 给 定 所 需 的 事实 和 规则 


































































































[有 具 开发 出 来 的 。 今 天 


» Prolog 使 用 演绎 推理 方法 就 可 对 


。 即 只 需 告诉 计算 机 “做 什么 ” 至 于 “怎么 做 ” 则 是 由 Prolog 自动 完成 的 。 除 
此 之 外 ，Prolog 还 有 下 面 一 些 特 点 : 


























了 一 种 一 致 的 数据 结构 : 项 。 所 有 数据 和 程 








是 由 项 构造 而 成 的 。 在 智能 程序 中 常 需要 将 一 段 程序 的 输出 数据 作为 新 产生 的 


























来 执行 ， 因 此 人 工 智能 语言 应 具有 数据 和 程序 结构 一 致 的 特性 。 
智能 系统 中 最 常用 的 、 最 基本 的 操 











2. Prolog 能 够 自动 实现 模式 匹配 和 回溯 ,这些 是 人 工 


作 。 


3. Prolog 具有 递归 的 特点 ， 它 反映 在 Prolog 程序 和 数据 结构 的 设计 中 。 
大 的 数据 结构 常常 可 以 用 一 个 小 的 程序 来 处 理 。 一 般 情 况 下 , 对 一 个 应 用 来 说 ， 
用 Prolog 语言 写 的 程序 长 度 是 用 C++ 语言 写 的 程序 长 度 的 十 分 只 一 [119]。 

Prolog 的 所 有 这 些 特性 ， 使 得 Prolog 特别 适用 于 描述 智能 程序 ， 适 用 于 自然 语言 处 理 、 


一 个 





























定理 证 明和 专 

























































































2.2.1 逻辑 程序 定义 


































































































在 定义 逻辑 程序 之 前 ， 首 先 定 义 Hom 子 句 ， 它 是 逻辑 程序 的 组 成 要 素 。 


一 个 子 句 
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于 这 一 特性 


, 





两 部 分 组 成 : 头 部 和 体 。IF-THEN 规则 的 结论 称 为 头 部 ， 前 提 部 分 称 为 体 。 
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Jil] Horn 子 句 可 以 定义 为 : 
定义 2.1 Hom 子 句 是 头 部 最 多 包含 一 个 文字 《命题 或 谓词 ) 的 子 句 。 
Horn 子 名 在 Prolog 中 有 三 种 表示 形式 : 
(1) 无条件 子 句 〈 事 实 ): A. 
QD ”条 件 子 句 (规则 ): A:-B1,…,Bn. 
G) 目标 子 句 (问题 ): ?- B1,…,Bn. 
上 述 三 种 Horn 子 句 均 具 有 明显 的 非 形式 语义 : 
(1) ”无 条 件 子 句 A: 表示 对 变量 的 任何 赋值 ，A 均 为 真 。 
(2) ”条 件 子 句 A:-B1,.….,Bn: 表示 对 变量 的 任何 赋值 ， 如 果 B1,…,Bn WAR, WA A 
真 。 
G) ”目标 子 句 ?- B1,...,Bn: 其 逻辑 形式 为 
Vxl...xn(-Blv...v—Bn), 
等 价 于 -3x1...xn(BIA...ABm。 它 视 作 推理 的 目标 。 
例如 ， 对 于 下 面 两 个 Horn 子 句 : 
i) WQGY) :- P(X), Q(Y). 
ii) 2-R(X,Y),Q(Y). 
TE i)? W(X,Y) 为 尖 ，P(X),Q(Y) 为 体 。 在 让 中 R(X,Y),Q(Y) 为 体 ， 头 为 空子 句 。 事 实 上 ， 
ii) 表 示 一 个 询问 ，R(X,Y),Q( 六 是 否 为 真 ， RE X M Y 取 什 么 值 的 时 候 ，R(X,Y)AQ(Y) 为 真 。 
定义 2.2 逻辑 程序 就 是 由 Horn 子 句 构 成 的 程序 。 在 逻辑 程序 中 ， 头 部 具有 相同 谓词 符 的 
那些 子 句 称 为 该 谓词 的 定义 。 
例如 下 面 两 个 谓词 逻辑 句子 ， 每 个 句子 都 具有 一 个 头 。 
Father(X, Y) :- Child(Y,X), Male(X). 
Son(Y,X) :- Child(Y,X), Male(Y). 
上 述 两 个 子 句 都 是 Horn 子 句 ， 因 此 它们 构成 一 个 逻辑 程序 。 假 设 还 有 下 面 三 个 事实 子 句 : 
Child( xiao-li, lao-li). 
Male(xiao-li). 
Male(lao-li). 
如 果 把 上 述 规则 和 事实 加 入 Prolog 中 ， 编 译 执 行 后 ， 给 出 下 面 的 查询 ， 则 有 : 
1. 目标 : ?- Father(X,Y). 
则 会 得 到 : Father(lao-li, xiao-li). 
2. Hb: ?- Son(Y,X). 
则 会 得 到 :  Son(xiao-li, lao-li). 


上 面 我 们 已 经 完成 了 对 Prolog 语言 简单 的 描述 。 






























































































































































































































































































































































2.2.2 Prolog 数据 结构 和 递归 





在 非 数 值 程序 设计 中 ， 递 归 是 十 分 重要 的 工具 。 在 Prolog 中 ， 递 归 也 是 其 重要 的 特性 ， 
这 反映 在 Prolog 的 数据 结构 和 程序 中 。 
Prolog 提供 了 一 个 一 致 的 数据 结构 称 为 项 。 所 有 的 数据 和 Prolog 程序 都 是 由 项 构造 而 成 
fJ. Prolog 的 项 可 以 定义 为 : 
< 项 >::=< 常 量 >|< 变 量 >|< 结 构 >| (< 项 > ) 
结构 称 为 复合 项 ， 它 是 由 一 组 其 他 对 象 〈 也 可 以 为 结构 ) 组 成 的 单个 对 象 。 
< 结构 >::=< 函 数 符 >(< 项 >{，< 项 >}) 
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< 函数 符 >::=< 原 子 > 










































































































































































































































































Prolog 的 结构 相当 于 通常 程序 设计 语言 中 的 结构 和 记录 。 为 了 灵活 地 描述 序列 、 集 合 这 
样 的 对 象 ，Prolog 提供 了 表 这 一 数据 结构 。 表 是 非 数 值 程序 设计 中 一 种 最 常用 的 数据 结构 。 在 
Prolog 中 ， 一 个 表 的 元 素 可 以 是 原子 、 结 构 或 任何 其 他 项 ， 包 括 表 ， 因 此 表 是 递归 定义 的 。 表 
可 以 表示 成 一 个 特殊 的 二 元 函数 cons(X,Y)，X 是 表 头 ，Y 是 表 尾 《〈 即 表 中 除去 表 头 剩 下 部 分 
组 成 的 表 )， 它 是 Prolog 中 最 重要 的 数据 结构 。Prolog 采用 下 面 的 记号 表示 表 : 

[]£X nil TK 

[a] cons(a,nil) 

[a,b] cons(a,cons(b,nil)) 

[a,b,c] cons(a,cons(b,cons(c,nil)) 
[XY] cons(X,Y) 

[a,b | c] cons(a,cons(b,c)) 

Prolog 的 递归 性 还 体现 在 程序 中 。 例 如 对 于 内 部 谓词 member， 用 于 确定 一 个 元 素 是 否 为 

一 给 定 表 的 成 员 。member 谓词 定义 如 下 : 
member(X, [X |_ ]). 
member(X,[ |Y]) :- member(X, Y). 
上 面 在 定义 谓词 member 时 又 调用 了 它 自己 ， 因 此 member 是 递归 定义 的 。 
上 上 述 这 种 递归 模式 在 Prolog 中 会 大 量 的 出 现 。 
2.2.3 SLD 归结 
在 讨论 SLD〈 有 选择 的 线性 ) 归结 之 前 ， 首 先 给 出 下 面 的 定义 。 
定义 2.3 定 程序 子 句 是 下 述 形式 的 子 句 : 
A :- B1,B2,...,Bn 
其 中 在 头 部 《结论 〉 只 有 一 个 正文 字 〈 即 A)， 而 体 中 有 零 个 、 一 个 或 多 个 文字 。 
























































定义 24 定 程序 是 定 程序 子 句 的 有 











限 集 合 。 


定义 2.5 定 目 标 是 下 述 形式 的 子 句 : 


?:- B1,B2,...,Bn 
头 部 《结论 ) 是 为 空 





其 





的 子 句 。 




















EX 2.6 SLD 归结 代表 用 于 定子 句 的 具有 


WRH P 表示 程序 ，G 表示 目标 ,， 则 风 辑 程序 的 求解 过 程 就 是 寻找 Po(G) 
十 算 规 则 ， 








iz 


过 程 。 为 了 确定 结 过 程 
规则 。 在 理论 上 ， 人 工 智能 中 对 状态 空 
实现 效率 的 考虑 是 放 在 第 一 位 的 。 标 准 
(1) 
(2) 








个 | 归 


















































搜索 规则 是 深度 优先 + 


, 需要 给 出 如 


计算 规则 总 是 选取 最 左边 的 子 日 
回 济 。 


Zt 


SH o 





选择 函数 的 线性 


are 


H 























可 选择 子 目 标的 
间 的 任何 搜索 策略 都 可 以 使 用 。 





























的 SLD 归结 的 
以 及 程序 空间 的 搜索 
但 是 对 于 Prolog 来 说 ， 




















Prolog 的 SLD 归 
标 : 从 左 向 右 



































3) ÈP 中 子 句 的 书写 顺 
(4) ”省 去 了 合 一 算法 中 的 
ERRIRE 











FHT: 从 上 到 下 
occur 检查 。 





I 会 得 到 下 面 的 问题 。 
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结 过 程 可 归纳 如 下 : 


23 











1、 深 度 优先 策略 有 简单 高 效 的 实现 方法 。 
这 是 采用 这 一 搜索 策略 的 根本 原因 ， 原 则 上 可 以 采用 一 个 “目标 栈 ” 就 可 以 实现 它 〈 见 
第 二 章 的 深度 优先 搜索 )。 目 标 栈 在 任何 时 候 总 代表 SLD 树 上 正在 被 搜索 的 分 枝 。 搜 索 过 程 
系列 进 栈 、 出 栈 操作 组 成 。 当 栈 顶 的 子 目标 与 了 中 某 子 句 头 部 合 一 成 功 后 ， 归 结 式 进 栈 。 
如 没有 可 以 合 一 的 子 句 ， 则 执行 回溯 操作 ， 即 栈 顶 元 素 出 栈 ， 为 新 的 栈 顶 尝试 下 一 个 可 合 
子 句 。 如 此 等 等 。 
例 2.1 设 程序 为 : 
p(X, Z) :- q(X,Y), p(Y,Z). 
p(X,X). 
q(a, b). 
目标 子 句 为 : 2-p(X b). 
则 标准 Prolog 的 目标 栈 为 : 




















































































































































































































?-p(X ,b). G 进 栈 ， 开 始 
2-p(X ,b). | ?- q(X,Y), p(Y,b). 归结 式 进 栈 
9-p(X ,b). | ?-qCCY),p(YD). 2- p(b, b). 归结 式 进 栈 
2-p(X ,b). | ?-qQG Y), p(Y,b). ?- p(b, b). 2-q(b,W), p(W,b) | 归结 式 进 栈 
29-p(X ,b). | ?-qCCY),p(YD). ?- p(b, b). o 出 栈 ， 新 归结 式 口 进 栈 
?-p(X ,b). 出 栈 (三 次 ) 
n 新 归结 式 口 进 栈 
出 栈 ， 结 束 























2、 深 度 优先 搜索 规则 破坏 了 完备 性 
深度 优先 是 不 完备 的 ， 这 一 问题 是 不 可 能 通过 : 
全 克服 的 ， 但 是 可 以 解决 一 定 的 问题 。 例 如 程序 
(1) p(f(X)):- p(X). 
(2) p(a). 
和 目标 子 句 ?-p(Y)， 在 运行 时 会 陷入 死 循环 。 而 重新 排列 子 句 (1) (2) 的 顺序 后 ， 就 会 
有 Y=a,Y=f(a),...0 
考虑 另 一 程序 ; 





























limi 
出 





新 排列 子 目标 序列 和 重 排 子 句 序列 来 完 
































(1) q(f(X)) :- q(X). 
(2) q(a). 
(3) r(a). 
HERT ÍJ G: ?-q(Y), r(Y)。 在 运行 时 陷入 死 循环 。 但 改变 G 中 子 目标 的 顺序 ，G: ?- r(Y),q(Y), 
就 可 以 得 到 唯一 解 : Y=a。 
但 是 上 述 两 种 方法 都 不 能 从 根本 上 解决 问题 。 要 保证 完整 性 , Prolog 的 搜索 规则 中 必须 包 
含 某 种 宽度 优先 的 成 分 。 但 这 必然 降低 系统 的 时 空 效 率 ， 且 实现 难度 增 大 。 另 一 种 可 行 的 方 
法 是 保持 Prolog 的 深度 优先 搜索 策略 ， 必 要 时 用 Prolog 语言 本 身 编 写实 现 其 他 搜索 策略 的 程 
序 。 
3、 省 略 occur 检查 破坏 了 SLD 归结 法 的 正确 性 。 
我 们 知道 ， 合 一 算法 中 的 occur 检查 是 极 费时 间 的 。 具 有 occur 检查 时 ， 每 次 合 一 需要 线 
性 长 度 的 时 间 ， 所 以 对 于 谓词 append 需要 ODIE, 3X n 是 表 的 长 度 。 由 于 实际 的 Prolog 
程序 很 少 碰见 确实 需要 做 occur 检查 的 合 一 运算 ， 大 多 数 Prolog 系统 都 在 合 一 算法 中 省 去 了 
occur 检查 。 
但 是 省 略 了 occur 检查 破坏 了 SLD 归结 法 的 正确 性 : 在 确实 发 生变 量 出 现在 项 的 内 部 时 ， 
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本 应 得 到 不 可 合 一 的 结论 。 但 省 略 了 occur 检查 ， 则 得 出 可 合 一 的 结论 ， 
约束 ” 这 显然 是 错误 的 推理 。 
例如 ， 设 程序 P 为 : 

py, Y), G 为 ?2-p(X,X)。 
则 合 一 算法 在 为 {p(X,X), p(Y, KY))} 寻 找 最 一 般 的 合 一 置换 时 ， 



























































会 得 到 9={Y/X，f(CY)/Y} 这 样 错 误 的 置换 。 若 后 面 的 SLD 归结 过 程 不 用 到 


被 掩盖 起 来 ， 若 后 面 又 用 到 Y， 则 Prolog 将 陷入 死 循环 。 




















2.2.4 非 逻 辑 成 分 : CUT 


是 : 





公 


程序 是 算法 的 体现 ， 逻 辑 程 序 设计 的 基本 

算法 = 逻辑 + 控制 
逻辑 部 分 说 明 “ 干 什么 ”， 
分 应 由 逻辑 程序 设计 系统 自动 处 理 。 
为 了 程序 的 正确 运行 ， 程 序 员 还 需要 考虑 子 句 的 次 
用 深度 优先 搜索 策略 ， 则 可 能 产生 某 个 无 穷 的 分 枝 。 因 
的 ， 则 无 限 的 SLD 树 将 会 产生 栈 溢出 。 这 样 就 无 法 得 
中 适当 地 放置 “CUT” 语 名 解决 。 


式 
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PS ri EB rU] “GA”. BEA EA He), fd 
可 惜 ， 现 今 的 Prolog 系统 一 般 达 不 到 这 一 点 。 如 前 所 述 ， 
序 等 。 另 外 ， 由 于 Prolog 运行 探 人 
为 Prolog 深度 优先 搜索 是 基于 栈 实 现 

















给 出 变量 的 “循环 


HEET occur 检查 ， 将 





由 系统 使 


ill as 






























































到 任何 解答 。 这 种 问题 可 以 通过 在 程序 


用 在 条 件 子 


从 说 明 性 语义 来 看 ，CUT E PRR PRAWE, H E ”表示 ， 可 以 
人 句 的 体内 ,或 目标 子 句 中 ， 并 把 它 看 做 是 一 个 恒 真 的 原子 。 这 样 ， 一 个 程序 和 目标 中 可 以 任 
意 插入 “!” 而 不 影响 程序 的 说 明 性 语义 。 














但 是 从 过 程 语义 来 看 ，CUT 传递 了 一 定 的 控制 信息 。 设 目标 子 句 G N: 
?- AL,..., Am-1, Am, Am+1,...,Ak 
程序 子 句 CC 为 : 


A:- Bl,..., Bi, ! , Bitl, ..., Bq 








































































































































































































标准 的 Prolog 在 求 出 Al,....Am-1 的 一 个 解 后 得 到 目标 G'"， 它 先 解 Am， 若 Am 可 与 A 合 一 ， 
则 C 的 体 经 过 变量 置换 后 成 为 新 的 目标 子 句 的 一 部 分 , 称 G' 是 包含 ! 的 子 句 C 的 父 目 标 , Am 
称 为 截断 点 。 当 轮 到 解 ! 时 ， 它 总 是 立即 成 功 。 但 当 ! 后 面 的 子 目标 无 解 而 引起 回溯 (或 为 
TR G WAAR TTI EY, MERA Am 到 ! 的 所 有 其 他 解 都 不 被 考虑 ，Prolog 接着 求解 
Am 前 的 那个 子 目标 Am-1 的 其 他 解 。 这 就 是 ! 传递 的 控制 信息 , 在 SLD 树 上 ,“!” 剪 去 了 以 
它 的 父 目 标 为 根 的 那个 子 树 中 尚未 被 搜索 的 部 分 。 
例如 ， 设 程序 为; 

(1)? p(a). 

(2) p(b). 

(3) q(b). 

(4) r(X):- p(X), qX). 

(5) r(e). 














子 目标 GA: ?-r(X)。 标 准 Prolog 系统 建立 SLD MOI 2.1. 4 PIN (4) 4 
(4) ^. 1(X):- p(X), !, q(X). 
则 相应 的 SLD 树 如 图 2.2 所 示 ， 它 被 前 去 了 一 部 分 ， 从 而 无 解 。 
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RE 


EA! 变 成 : 
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?-r(X ) 
4) 6) 


2pK),aX) OA {cK} 





(1) Q) 
qok a0) Lae) 
/ | 
DUXI {bX } ?-q@ 失 败 
图 2.1 J! 的 SLD 归结 树 图 2.2 有 ! 的 SLD 归结 树 


















































从 上 面 可 以 看 到 ， 使 用 CUT 具有 一 定 的 风险 ， 使 用 不 当 的 话 有 可 能 删除 成 功 的 分 校 ， 破 
坏 了 SLD 归结 法 的 完备 性 。 但 是 更 为 严重 的 是 CUT 破坏 了 逻辑 程序 的 两 种 语义 的 一 致 性 。 考 
虑 求 两 个 数 最 大 值 的 程序 P: 

max(X, Y, Y) :- X =< Y. 

max(X, Y, X) :- X » Y. 
P 的 说 明 性 语义 和 过 程 性 语义 是 一 致 的 。 若 增加 CUT 谓词 ， 得 到 如 下 的 程序 P1: 

max(X, Y, Y) :- X=<Y,!. 

max(X, Y, X) :- X > Y. 
Pl 的 说 明 性 语义 和 过 程 性 语义 都 没有 改变 ， 只 是 运行 效率 有 所 提高 。 为 了 进一步 提高 效率 而 
使 用 P2: 

























































































max(X, Y, Y) :- X=<Y,!. 
max(X, Y, X). 
虽然 过 程 性 语义 没有 变 ， 但 是 说 明 性 语义 却 变 成 了 :“X，Y 的 最 大 值 总 是 X. 如 果 XSY, Xt 
可 以 是 Y”。 显 然 这 样 的 说 明 性 语义 已 经 不 是 求 最 大 值 的 原意 了 。 
在 Prolog 中 有 一 个 内 部 谓词 fail, 它 作 为 一 个 目标 总 是 失败 并 引起 回 淹 。 当 fail 前 面 是 cut 
时 ， 则 由 于 cut 的 作用 是 改变 正常 的 回溯 方式 ， 使 匹配 含 该 cut 规则 的 父 目 标 立 即 失败 ， 这 样 
提高 了 搜索 效率 。 
例如 ， 对 于 下 面 的 程序 P: 
(1) strong(X):- heart disease(X), fail. 
(2) strong(X):- tuberculosis(X), fail. 
(3) strong(X):- nearsight(X), fail. 
(4) strong(X). 
(5) heart disease(Zhang). 
如 询问 : ?- strong(Zhang)， 第 一 句 中 heart disease 谓词 匹配 成 功 。 但 是 后 面 的 fail 总 是 失败 ， 
引起 回溯 。 这 样 就 造成 Prolog 去 匹配 后 面 的 子 句 ， 最 后 因为 第 四 条 匹配 成 功 而 结束 。 无 疑 这 
是 Prolog 的 回 济 功 能 引起 的 结果 ， 为 了 停止 Prolog 这 样 不 必要 的 回 斋 ， 可 以 用 CUT 放 在 fail 
之 前 : 








































































































(1) ” strong(X):- heart_disease(X), !, fail. 

(2) strong(X):- tuberculosis(X),!, fail. 

(3) ” strong(X):- nearsight(X), !, fail. 
则 上 述 目 标 匹配 第 一 条 规则 后 ， 因 为 fail 马上 失败 ， 又 因为 cut 使 得 从 父 目 标 strong(Zhang) 到 
cut 之 间 所 有 目标 都 是 不 可 重新 满足 的 ， 因 此 系统 回答 为 NO。 这 就 是 cut-fail 的 组 合 。 
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MEEA FA XE TE RS VERAT]. 对 于 程 
是 不 是 P 的 逻辑 推论 。 当 然 如 果 G 是 P 的 逻辑 结论 ，SLD 归结 法 会 在 有 限 步 内 
若 G 不 是 P 的 逻辑 推论 ，SLD 法 (或 其 他 方法 ) 可 
中 引入 了 一 条 规则 : 非 即 失败 。 该 规则 即 是 说 :对 于 子 句 G， 如 果 无 法 证 明 G， 则 推出 -G 是 




















合理 的 。 
TE Prolog ! 






































定义 了 谓词 not，not(A) 即 一 A， 它 可 


not(A) :- call(A), !, fail. 


not(A). 











call 是 一 个 内 部 谓词 ，call(A) 要 求 系统 把 A 作为 一 个 子 











PP 和 目标 G, 不 存在 算法 , 在 有 限 步 内 报告 G 


告诉 我 们 ， 但 


万 


陷入 死 循环 。 为 此 ， 在 逻辑 程序 设计 























Akb A 
能 会 


























KE XU: 


FH 
ZM 





AA 








目标 求解 。 上 面 的 定义 是 说 : 如 




















解 ， 则 not(A) 无 解 ， 若 A 无 解 ， 则 not(A) 成 功 。 显 然 该 定义 是 非 即 失 败 的 正确 描述 。 


20 世纪 80 年 代 以 来 ， 智 能 科学 的 需求 促使 各 种 非 经 典 逻 辑 系统 的 出 现 和 发 
型 例子 [McDermott 1980]. 
人 类 认识 世界 的 过 程 是 个 否定 之 否 


























辑 就 是 其 中 的 } 


2.3 

















非 单调 逻辑 





E. JEn 





























是 不 确 





定 的 ， 而 且 往 往 是 不 完全 的 ， 尽 管 人 的 和 























定 的 辩证 发 展 过 程 。 由 于 人 类 对 客观 世界 的 认识 不 仅 
I 识 就 总 的 认识 过 程 来 看 是 在 不 断 增长 着 的 ， 


















































但 新 知识 的 出 现 往往 在 一 定 程度 上 否定、 完善 、 
伪 过 程 
世界 的 逐渐 深入 ， 
EW; ”于 是 旧 


是 个 证 


科学 的 发 现 过 程 是 个 


局 限 性 。 随 着 人 类 认识 1 























需要 ， 人 往往 会 被 新 的 发 现 所 说 











在 


Ke 








补充 旧 的 知识 。 正 如 波 普 尔 所 指出 的 那样 ， 
的 条 件 和 环境 下 ， 一 个 理论 的 形成 总 存在 着 它 的 历史 
随 着 科学 研究 的 不 断 发 展 ， 旧 的 理论 不 能 满足 新 的 


识 















































的 理论 被 否定 ， 新 的 理论 就 诞生 。 从 这 个 意义 上 来 




















说 ， 人 类 知识 的 增长 过 程 实际 上 是 非 单调 的 发 展 过 程 。 





然而 ， 经 4 
是 说 ， 在 现 有 知识 的 基础 
Be. Aw, SCAN 





















































识 





严格 遵循 上 述 约定 ， 因 


逻辑 ， 如 形式 逻辑 、 演 
上 ， 通 过 严密 
识 系统 4， 如 
B. 在 此 过 程 中 ， 严 格 要 求 8 必须 遵从 知 j 
为 它 是 非 单调 的 。 
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EF 








所 谓 非 单调 推理 就 











kk 备 这 样 一 种 














Fe 





进行 而 单调 地 增 大 ， 新 推出 的 定理 
的 某 些 现象 变 得 不 能 解释 了 。 假 如 




















AR CAII 











绎 逻辑 等 ， 对 人 类 认识 世界 的 处 理 却 是 单调 的 。 也 就 
的 逻辑 论证 和 推理 获得 的 新 知识 必须 与 已 有 的 知识 相 
A 草 涵 着 知识 B, BE 4 一 8 ， 则 可 推理 得 出 知 
只 系统 4。 然 而 正如 上 面 所 述 ， 人 类 的 知识 并 不 










































































i4 























Md 
id 


H. 


特性 的 推理 


ab A as 


E 理 系统 的 定理 集合 并 不 随 推理 过 程 的 



































很 可 








把 人 们 在 不 同 认识 阶段 的 知识 用 


改变 原来 的 一 些 定理 ， 使 得 原来 能 够 解释 
集合 FR 则 这 样 的 


RH 


Hea TIAE 














3 











ESAE] cee FO) 。 每 个 集合 FO) 表示 人 们 在 时 刻 t ARAM, SCHEER GN 

















是 单调 增 大 的 。 形 式 地 说 ， 
直 在 不 断 增长 。 导 致 这 一 ] 
调 罗 辑 是 处 理 不 完全 知识 的 工具 。 





如 果 
现象 的 根本 原 








单 1 
DT A} 


























有 如 下 单调 性 : 

















由 逻 辑 的 推理 规则 是 单调 的 。 设 表示 





tC, WW FO) e» Fa) 并 不 成 立 。 然 而 人 们 的 知识 却 一 
























































办 就 是 人 们 推理 时 所 依据 的 知识 具有 不 完全 性 。 非 单 
E 理 规则 集 ， 则 单调 逻辑 的 语言 Th(T) = (A 
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(1) PF e Th) 
(2) WRT. cl, WW Th(D) c Thy) 
(3) Th(Th(D) = Th(D) (FF HE) 
其 中 (3) 又 称 为 不 动 点 (fixed point) 。 单 调 推理 规则 的 显著 特性 之 一 就 是 它 的 语言 是 封闭 
的 最 小 不 动 点 ， 亦 即 Th.) = ats |I > S RTh(S) = P3. 
为 了 处 理 非 单调 性 ， 需 要 一 个 新 的 推理 规则 ， 其 形式 为 ; 
(4) 如 果 Taree, Nj Th MP 
其 中 M 是 个 模 态 词 ， 其 意义 为 ， 如果 在 工 中 不 能 证 明 -P ， 则 默认 为 PAT HAR. 
显然 使 用 单调 推理 系统 无 法 保证 : 当 [ 含 有 推理 规则 (4) 时 仍 具 有 固定 点 Th(T) =r. 为 
我 们 定义 操作 符 NM 如 下 : 对 任意 一 阶 理论 和 公式 集 S CL, $: 
(5 NM (9 = Th(T vu Asp (S)) 
其 中 Ae) 为 5 的 假设 集 ， 由 下 式 给 出 : 
(6) As (S) = {MP |Pe LA Pe S-Th(D 
于 是 可 定义 Th( 思 为 从 T 非 单 调 地 推出 的 定理 集合 如 下 : 
(7) Th(D = NM 的 最 小 固定 点 
引入 式 (7) 的 目的 在 于 试图 将 推理 规则 (4) 加 入 到 一 阶 理论 7 之 中 ， 使 之 能 进行 封闭 的 推理 。 
但 实际 上 由 于 Th 的 定义 要 求 太 强 , 而 Th (六 不 仅 无 法 求 得 , 而 且 也 无 法 保证 Th 2) 一 定 存在 ， 
为 此 将 式 0) 修改 为 : 
(8 Th) = alL} v {S | Mr (9 = S 
这 样 ， 如 果 Lee, WU L 恒 为 固定 点 ， 因 为 ”NMr (Z) = /人 恒 成 立 ,通常 称 为 平 
凡 国 定点 。 因 此 当 不 存在 有 非 平 凡 固定 点 时 Th(D) = 0 (UD = L. 
实际 上 我 们 可 以 证 明 如 果 Th ( 己 不 存在 ， 则 说 明 7 中 含有 了 矛盾。 下面 为 了 处 理 和 说 明 上 
的 方便 ， 我 们 把 式 (8) 等 价 地 写成 : 
(9) Thi = {IT A 
EET H P 表示 Pe Th), 并 把 {S| MO = 9 简写 成 FPCD ， 称 该 集合 中 的 元 
素 为 理论 厂 的 固定 点 。 
非 单调 推理 有 三 个 主要 流派 ， 即 McCarthy 提出 的 限制 理论 : 当 且 仅 当 没 有 事实 证 明 S 
在 更 大 的 范围 成 立时 ，S 只 在 指定 的 范围 成 立 ，Reiter 的 缺 省 逻辑 :“S 在 缺 省 的 条 件 下 成 立 ” 
是 指 “ 当 且 仅 当 没有 事实 证 明 S 不 成 立时 S 是 成 立 的 ”Moore 的 自 认 知 罗 辑 :“ 如 果 我 知道 S， 
并 且 我 不 知道 有 其 他 任何 事实 与 $ 矛盾 ， 则 S 是 成 立 的 ”。 
对 逻辑 进行 扩展 ， 将 非 单调 推理 形式 化 ， 称 为 非 单调 逻 辑 。 它 包括 语言 方面 的 扩充 和 语 
义 方面 的 扩充 ， 语 言 方面 的 扩充 是 指 增 强 其 表达 能 力 ， 语 义 方面 的 扩充 是 指 对 真 值 的 真 假 两 
种 情况 进行 修正 ， 一 是 对 推理 模式 的 扩展 ， 这 涉及 非 单调 推理 的 过 程 化 方面 ， 称 为 非 单调 系 
统 。 
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非 单调 逻辑 大 至 分 为 两 类 : FRET IMGT RAMEE; 5 25] 
定点 定义 ， 称 为 定点 非 单调 逻辑 。 
最 小 化 非 单调 逻辑 可 以 分 为 基于 最 小 化 模型 和 基于 最 小 化 知识 模型 。 前 者 主要 有 封闭 世 
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JEU. McCarthy 的 限制 逻辑 (circumscription) 等 , 后 者 包括 Konolige 的 忽略 逻辑 (ignorance ) 


A 
sF o 














XE AJER En DA Op 29 A (default) RII A AmE f (autoepistemic). McDermott 和 
































Doyle 提出 的 非 单调 模 态 逻辑 NML SE 





Reiter 的 缺 省 逻辑 则 是 对 缺 省 规 




















和 Doyle 的 非 单调 逻辑 语义 困难 的 一 种 改进 。 
非 单调 系统 的 实现 ， 可 以 通过 对 矛盾 的 检 


维护 系统 ,包括 Doyle 提出 的 真 值 维 护 系 统 TMS， 


Ak Af 
Ao 













































































2.4 封闭 


封闭 世界 假设 (Closed World Assumption—CWA ) 是 一 种 对 由 一 组 基本 信念 集 
的 理论 T(KB) 进 行 完备 化 的 方法 。 一 个 理论 T(KB) 是 完备 的 ， 是 说 其 包含 ( 显 式 或 隐 


个 基 原 子 公式 或 该 公式 否定 。CWA 的 基本 思 


即 : 











非 单 调 罗 辑 的 一 般 基 础 ,是 一 种 一 般 缺 省 逻辑 。 














则 的 一 阶 形式 化 。 自 认 知 逻辑 是 Moore 提出 的 ,是 对 McDermott 





测 进行 真 值 的 修正 来 维护 相 容 性 ， 可 称 为 真 值 
Dekleer 提出 的 基于 假设 的 真 值 维护 系统 ATMS 


























世界 假设 






































想 是 : 如 果 无 法 证 明 P， 则 就 认为 它 是 否定 上 


如 果 从 知识 库 中 无 法 证 明 P 了 或 者 -P， 则 就 向 KB 中 增加 一 P。 
这 就 是 说 你 假定 知道 所 有 有 关 世 界 的 事情 





CWA 的 最 大 用 处 是 完备 化 数据 库 系统 。 
































( 即 世 界 是 封闭 的 )。 





例如 ， 我 们 可 以 设计 一 个 关于 国家 邻接 的 数据 库 





Neighbor(x, y)。 基 于 CWA， 几 是 未 在 该 数据 库 中 说 明 是 邻接 的 国家 都 是 不 邻接 的 。 
我 们 知道 理论 TKB) 是 一 组 在 逻辑 蕴涵 下 封闭 的 句子 的 集合 (如 传递 封闭 )。 理 论 TCKB) 



































是 完备 的 ， 如 果 语 言 中 每 个 基 原 子 本 身 或 者 是 其 否定 在 该 理论 中 。 



























































假定 KB: ”Neighbor(China, Russia). 
Neighbor(China, Mongolia). 
VxVy (Neighbor(x, y) Neighbor(y, x)) 
WW TGKB) 是 不 完全 的 ， 





Mongolia) 都 不 在 KB 中 。 








因为 无 论 是 Neighbor(Russia, Mongolia) 还 是 -Neighbor(Russia， 


CWA 对 理论 的 完备 化 是 仅仅 通过 向 基本 信念 集合 KB D An eom 
的 。 换 言 之 ， 若 一 个 基 原 子 公式 不 能 经 由 逻辑 





KB 的 扩充 。 显 然 ， 

(KB) 而 生成 的 扩充 集 就 必须 收缩 《删除 该 基 
以 向 KB 中 增加 -Neighbor(Russia, Mongolia) 实 现 完备 化 。 
于 为 完备 T(KB) 而 生成 的 扩充 集中 的 每 个 基 原 子 公 式 的 取 反 均 是 假设 的 暂时 信念 , 故 记 
对 于 一 个 基 原 子 公 式 P〈( 省 略 其 常量 项 )，CWA 定义 : 




















BP RAN KBasme 





















































ER IIE nese KB 导出 ， 就 将 其 取 反 作为 














CWA 是 非 单 调 的 ， 因 为 一 

















旦 以 后 有 新 的 基 原 子 公式 加 进 KB， 则 为 完备 工 















































原子 公式 的 否定 )。 例 如 对 于 国家 相 邻 问题 ， 可 





























—PeKB,: 当 仅 当 Pe T(KB). 
WAH CWA 方法 完备 的 理论 为 CWA(KB), Hd XT T(KB) 的 推理 能 力 ， 允 许 不 能 从 KB & 








出 的 结论 pg 可 从 KBO KBam 导出 。 在 上 例 





CWA(KB)-T(KBu KBasm) o 
然而 CWA 方法 并 不 确保 被 完备 的 理论 CWA(GKB) 是 一 致 的 。 例 如 ， 令 KB={P(A)vP(B)}》， 























要 对 CWA 的 完备 性 规则 进行 修改 ， 以 实现 一 
向 一 个 一 致 的 KB 中 增加 新 的 句子 , 为 了 保持 增加 句子 后 KB 的 一 致 性 ， 可 以 通过 下 述 定 

















waw ai bbt. com 























H, KBasmo ={aneighbor(Russia, Mongolia)} ， 











因为 无 法 推出 P(A) 或 者 -P(A)， 以 及 P(B) RAPE), MAR KBa7(-P(A). —-P(B)). (Hee 
KBUKBgsm 是 不 一 致 的 ， 它 会 导致 PA)vPGB) 为 假 。 解 决 不 一 致 性 是 非 单调 推理 的 重要 议题 ， 











致 性 。 
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D000000 




















理 试图 解决 不 一 致 性 。 


定理 2.1 CWA(KB) 是 一 致 的 ， 当 且 仅 当 对 于 每 个 可 由 KB 推导 
都 至 少 存在 一 个 Pi 可 从 KB 推导 出 ， 其 中 Pi 均 为 正 基文 字 。 




















EE 
























































的 子 句 Piv Pov***v Ps; 


也 就 是 说 ，CWA(GKB) 是 不 一 致 的 ， 当 且 仅 当 存 在 正 基 文字 Pj. Pov oy Po A KB |= Piv 
P2v…v Po， 但 是 对 所 有 的 i, KBzPi。 


通过 把 所 有 的 基文 字 增 加 到 KB 中 以 实现 完备 性 ， 并 不 和 该 定理 矛盾 。 


例 2.2 
例 2.3 


对 原子 AMB, 扩充 KB 包括 : ^ P(B)ISQ(A). XXI iT C, 3X 
因为 PCc)vQG ))|z=P(O) 并 且 (PC )vQG DC). 









































KB: 


KB: 


























P(A)vP(B), CWA (KB) 是 不 一 致 的 
Vx(P(x )vQG )) 

P(A) 

Q(B) 





























的 扩充 就 是 不 一 致 的 ， 


总 的 来 说 ， 由 CWA 扩充 的 知识 库 也 可 能 是 不 一 致 的 。 然 而 ， 如 果 知 识 库 是 由 Horn FAJ 
组 成 ， 并 且 是 一 致 的 ， 则 经 过 封闭 世界 扩充 就 是 一 致 的 。 即 : 


定理 2.2 若 KB 是 由 一 致 的 Hor 形 子 句 组 成 时 ， 则 CWA(KB) 必 定 一 致 。 








在 第 四 章 ， 我 们 知道 Horn 子 句 定义 为 文字 Pi 的 析 取 形式 : Piv Pzv…v Pas H. 








个 Pi 是 


正文 字 。 








感 兴趣 ， 则 可 减弱 















































最 多 只 能 有 








然而 ， 这 对 于 许多 应 用 来 讲 ， 限 制 太 强 ， 如 果实 用 上 仅 对 某 一 特殊 谓词 P 






















































































H KBUKBgsnl=Q(A),KBUKB gsn|=R(A) o 

这 样 可 以 得 到 关于 一 个 谓词 集 7Z 的 CWA (KB) ， 此 时 KB 包含 的 每 个 子 句 均 为 关于 7 的 广义 
Horn 子 句 ， 即 每 个 子 句 中 最 多 只 能 出 现 一 个 其 谓词 属于 了 7 的 正文 字 。 问 题 是 ， 关 于 谓词 集 7 的 
CWA” (KB) 仍 不 能 






























































定理 2.2 的 强度 ， 只 将 谓词 为 P 的 基 原 子 公式 的 取 反 加 入 KBasm> Mi Horn 
子 句 也 减弱 到 仅 对 谓词 为 P 的 文字 满足 Horn 子 句 定义 。 

wild, KB-(P(A)vQ(A), P(A)vR(A)}, KB 包含 的 两 个 子 句 均 非 Horn 子 句 , 但 都 是 关于 谓 
词 P 的 广义 Hom FA; 令 KBasw={ 一 P(A)}， 则 可 得 到 关于 谓词 P 的 扩充 至 

















E 论 CWA(KB), 3f 









































































































































—P (B)} o HF KB|=P(A)vP (B), Wk CWA” (KB) 是 不 一 致 的 。 
2.5 默认 逻辑 
默认 推理 是 一 类 似 然 推理 。 从 直观 上 理解 ， 各 种 默认 推理 都 企图 对 以 下 形式 
推理 : 
正常 情况 下 AWZ, 
典型 情况 下 ”A 成立， 
默认 假定 A 成 立 。 


默认 推理 的 一 个 典型 例子 是 “ 鸟 会 飞 ”。“ 乌 会 飞 ” 这 个 陈述 并 不 等 于 “所 有 
AAAS Reb, BUSES. ARSE. TITAS, Bil 


这 个 陈述 ， 























保 一 致 性 。 例 如 ， 令 /天 也] ，KB= 了 WA)vQ，PGB)v-9j:， WA KB {AP (A), 


的 断言 进行 














乌 都 会 飞 ” 














能 会 根据 似 然 命题 : 
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a ， 我 们 可 


正常 情况 下 鸟 会 飞 ， 或 
典型 情况 下 SAK m 























WA x 是 鸟 ， 那 么 默认 假定 
Er a Z X. (HR BG RAT 








来 














XRK 








前 面 的 结论 ， 并 作出 结论 a 不 会 飞 。 而 在 开始 我 们 是 假定 a 


然 








E 理 ， 侧 不 是 演绎 推理 。 
1977 年 加 拿 大 多 


了 默认 逻辑 (default logic) 









































仑 多 大 学 的 Reiter fi 


得 相反 的 信息 ， 比 如 说 a 是 一 个 紫 乌 ， 我 们 就 会 撤消 











w 











会 飞 。 显 然 ， 这 里 所 体现 的 是 似 























究 不 完全 信息 的 
[Reiter 1980] 。 








理 形式 , 并 于 1980 年 正式 提出 


















































在 非 单 调 推理 中 ， 缺 省 




















里 《也 称 为 默认 逻辑 ) 是 应 





























县 不 完全 和 前 提 缺 省 的 情 
省 是 


KE 


























新 说 明 。 这 时 缺 省 上 


含义 是 : 





" 











bu 
经 常 使 用 的 一 种 技术 手段 ， 其 目的 是 为 了 给 程序 员 提 供 方便 ， 如 在 程 
层 程序 出 现 同一 标示 符 x， 则 内 层 标 示 符 x 的 缺 省 类 型 就 是 外 


， 默 认 一 些 先决 条 件 而 进行 的 


IE 


较 广 泛 的 一 种 多 和 辑 ， 它 是 在 信 
理 。 在 计算 机 程序 设计 中 ， 缺 


















































序 设计 中 ， 内 、 外 
除非 x 在 内 层 补 














类 型 E 


RE, H 


层 x 的 


m 














如 果 程序 员 不 显 式 地 指明 某 种 要 求 ， 则 系统 将 按 约 定 的 章程 办 

















调 强 有 











出 多 少 事实 。 而 在 3 














单调 


力 的 手段 ， 为 此 Reiter 把 缺 省 概念 引入 到 逻辑 中 设计 了 缺 省 逻辑 ， 



































里 中 ， 知 识 库 不 够 丰富 











出 新 的 事实 , 在 推理 时 ， 知识 库 的 丰 FH 程 

















度 决 
人 以 支持 系统 所 需要 的 推理 














X 





























因此 需要 对 知识 库 进 行 扩充 ， 
和 CWA 类 似 ， 这 些 缺 省 
生 了 矛盾 ， 所 以 推出 来 的 不 能 售 























为 不 完备 的 理论 ， 把 扩充 看 作 


的 知识 # 
是 事实 ， 只 是 对 现实 世界 的 一 种 猜测 。Reiter f 
。 而 缺 省 逻辑 则 提供 了 一 组 元 公理 ， 作 为 理论 











这 些 扩充 的 知识 苦 








i 是 缺 省 的 知识 。 





2 , 





























` 十 分 可 靠 ,， 只 是 在 目 























是 理论 的 完备 化 











完备 化 的 手段 。Reiter 为 此 做 了 两 方面 的 








其 次 是 探讨 了 缺 省 逻辑 的 证 
备 理论 的 一 个 扩充 。 


明 



































Jis 
论 问题 ， 即 在 什么 条 件 下 可 以 


























Reiter 的 缺 省 逻辑 是 另 一 种 形式 的 非 生 
Wo FBTR, HRA DL 是 对 基本 的 和 
实现 的 。 扩 充 了 D 的 KB 包括 






































DL 系统 DD 中 的 缺 省 规则 形式 为 ; 


a(x): MB, (x) 


5. 


M B, (x) 


En 





W (x) 





或 者 表示 为 线性 形式 为 : 


a(x): MB,(x).., MB, (x) > W(x) 


H 
Fe 




















EP x FE HH x, E S 














以 缺 省 规则 了 D 可 以 读 为 : 如 果 没 有 信 ， 





ELA 
是 命 





a(x) 


EA 
向 量 。 











首先 对 不 完备 理 


sog d. 它 包 括 一 
HRE KB 扩充 一 组 非 标准 的 、 非 单调 的 推理 规则 D 
标准 逻辑 所 具有 的 结论 加 上 应 用 D 于 KB 所 得 到 的 结论 。 


题 的 前 提 ， 太 Oo) 


条 件 ，M 为 缺 省 算 子 ， 表 示 相 容 性 ， 即 前 提 和 缺 省 条 件 相 容 或 不 矛盾 ， 就 可 以 

















息 表 明 B(x),.…,pB, ! 





LT 











ER 














识 相 矛盾 )， 则 可 从 前 提 (x) 推 


bird (x) 


:M flies(x) 





flies (x) 
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前 看 来 不 和 知识 库 的 其 他 部 分 发 
EJ OI AAA 


























论 的 扩充 给 出 了 形式 化 的 定义 ; 


一 个 命题 是 否 属于 其 个 不 完 




















阶 的 语句 以 及 一 个 或 多 个 缺 省 假 


























(2.1) 


(2.2) 





ELA 
是 命 


题 的 结论 ，B,(x) 是 缺 省 
出 结论 。 所 


任何 一 项 不 成 立 〈 或 与 现 有 的 知 


























结论 到 (x) 。 例 如 对 于 缺 省 规则 ; 





它 表 示 : 如 果 x 是 鸟 ,并且 如 果 认 为 x SERS EAI, Wy EU x NEUE K. RA 












































则 在 表达 通常 情况 下 是 正确 的 ， 但 并 非 绝 对 是 正确 的 信念 时 非常 有 用 。 如 果 缺 省 规则 中 不 含 









































有 








变 元 ， 即 gw、MBi、 丈 都 是 命题 ， 那 么 该 规则 称 为 闭 规则 。 




















定义 2.7 一 个 缺 省 理论 工 由 两 个 部 分 组 成 : 
l. 缺 省 推理 规则 集合 D 
2、 公 式 集合 W， 它 是 已 知 的 或 约定 的 事实 的 集合 
当 D 中 所 有 规则 都 是 闭 规则 时 ， 称 理论 T=<D,W> 为 闭 缺 省 理论 。 










































































对 于 缺 省 理论 T=<W, D>， 假 设 p=. W=@， 那 么 B 在 工 中 可 以 推出 。 向 W 增加 








aA, Jl] W 变 为 W'2(SA), T=D, W”>。 这 是 尽管 了 是 T 的 扩充 (已 知事 实 集合 Wow), 














— 





S, 


的 


理 而 后 者 是 单调 推理 。 为 了 定义 缺 省 理论 中 的 “推出 ”概念 ， 需 要 下 面 的 定义 。 


一 个 扩张 。 





























HÆ B 却 不 能 从 TT 中 推出 。 所 以 缺 省 理论 是非 单 调 的 。 























例 2.4 假设 W 为 :  bird(tweety) 
V&(ostrich(x)- —flies(x)) 
D 为 : bird (x):M flies (x) 
flies (x) 
则 可 以 得 到 flies (tweety) « 
如 果 在 W 中 增加 ostrich(tweety)， 则 无 法 得 到 flies (tweety). 











例 2.5 假设 W 为 : feathers (tweety) 


bird(x):M flies(x) feathers(x):M bird(x) 
flies (x) : bird (x) 





DA: 


则 同样 可 以 得 到 flies (tweety) o 

如 果 在 W 中 增加 ostrich(tweety), 
V&(ostrich(x) — flies(x)) 
Yx(ostrich(x)> feathers (x)) 

则 也 无 法 得 到 flies (tweety). 


在 缺 省 理论 中 ,“ 推 出 ”概念 和 传统 逻辑 中 的 “推出 ”概念 是 有 区 别 的， 前 者 是 非 单 ; 
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定义 2.8 设 A=<D, W> 为 一 闭 缺 省 理论 , 为 关于 DD 的 一 个 算 子 , 工作 用 于 任意 的 命题 集合 
其 值 为 满足 下 面 三 个 性 质 的 最 小 命题 集合 T(S): 
(1) WeT(S); 
(2) T(S) 为 在 普通 命题 演算 的 推理 下 封闭 的 ， 即 Th(T(S))- T(S); 


(3) WR D 中 有 规则 ; o: MB, MB, — w， 且 aeT(S)， 一 B1..., 一 Bm ¢S, HA 




































































wel(S). 
定义 2.9 命题 集合 E 称 为 关于 DD MATTHEE ki "I RI(E)-E. UE SU E AA=<D, W> 























有 了 扩张 的 概念 ， 便 可 以 定义 非 单调 推理 中 的 “推出 ”概念 。 
定义 2.10 如 果 命 题 A 包 含 在 缺 省 理论 A=<D, W> 的 一 个 扩张 中 ,那么 称 A 在 A 中 可 以 推出 ， 

































































记 为 ~， 表 示 非 单调 “ i (可 见 例 5.1 中 的 关系 R) 
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例 2.6 sD), W=®。 则 A=<D,W> 无 扩张 。 


因为 可 以 证 明 关于 A 的 算 子 [无 加 定点。 否则， 假设 为 [的 固定 点 。 
如 果 -AsE， 则 由 定义 5210 (3) 可 以 得 到 -AsE。 
如 果 -AsE， 因 为 W-®， 则 -A 一 定 是 由 缺 省 规则 D SABIE T. BALL, SAGE, UU, 
MA 为 假 ， 该 规则 不 可 使 用 。 
显然 这 是 一 个 悖 论 。 




























































































例 2.7 D= E S wG, W=@。 则 A=<D,W> 有 唯一 的 扩张 E=Th({_B，-F})。 
容易 验证 E 为 关于 A 的 [固定 点 ， 而 当 命 题 集 Se{AB, C. 一 F} 而 S4{AB, AF}, Th(S) 
都 不 是 民 的 关于 A 的 固定 点 。 其 直观 解释 为 : 第 一 个 缺 省 规则 的 结果 阻止 了 第 二 个 缺 省 规则 的 


应 用 ， 而 这 有 使 得 第 三 个 缺 省 规则 的 应 用 成 为 可 能 

















































































































: MA B: MC FAA:ME CAE:M-A,M(Fv A) 
C° E 7 G 
sage C>FvA, AACO-E). 
则 A=<D,W> 有 三 个 扩张 : 
EI-Th(W U{A,C}) 
E2=Th(W U{A,E}), 
E3=Th(W U{C,E,G}) 
SOM EI 进行 说 明 。 由 于 Th(W U{A,C}) RAE. Mil CTh(W U{A,C})) 中 没有 E 和 G 
(因为 ME 和 CAE 不 能 成 立 )。 这 就 是 说 D 中 的 缺 省 规则 在 算 子 [的 计算 过 程 中 无 一 可 用 ， 所 
DP (Th(W U{A,C})) =Th(W U{A,C}).~ 


从 上 面 可 以 看 到 ， 并 非 所 有 的 缺 省 理论 都 有 扩张 。 有 扩张 的 缺 省 理论 也 不 一 定 是 只 有 唯 
一 的 扩张 ， 因 为 该 理论 中 可 能 有 多 个 缺 省 规则 ， 而 这 些 缺 省 规则 的 合理 条 件 是 不 相 容 的 。 一 
个 理论 是 否 具 有 扩张 ， 决 定 着 在 该 理论 上 能 否 进 行 有 效 的 缺 省 推理 。 因 此 研究 和 探讨 扩张 的 
存在 条 件 是 十 分 重要 的 。 


定理 2.3 设 王 为 一 阶 命题 集合 ，A=<D,W> 为 一 闭 缺 省 理论 。 递 归 定 义 EiG=0,1,2,...) 如 下 : 
E0 =W 
Ej 4;7Th(E)u(w|(a: Mf,...,Mf,—w)eD, 
ae E, —Bi,..., — Bm E} 


例 2.8 De 
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那么 E 是 A 的 一 个 扩张 当 且 仅 当 巨 = Ù E, 














可 以 利用 该 定理 来 验证 例 5.8 中 的 三 个 扩张 。 


现在 如 果 缺 省 规则 为 ; c. 缺 省 理论 是 否 和 CWA 一 样 呢 ? 答案 是 否定 的 。 












































è M-Q 


ap! 





假设 W={PvQ}, D 为 : 以 及 o EA CWT(A) 是 不 一 致 的 。 而 A 的 扩张 可 





: MAP 
P 


以 是 {PvQ， eae ae -Q}， 但 如 果 把 它们 合 在 一 起 就 不 一 致 了 。 
例 2.9 设 D= = ae W={A, 一 A}。 则 A=<D,W> 的 扩张 E=Th(W)， 即 维持 不 变 。 





ww ai bbt. com DODODODODODOD 























VAT SWFA, CABIN UK ARAS EK (REA A, UR SAO V Hee He $8 
的 基本 知识 知道 ， 这 个 扩张 包括 了 该 系统 中 所 有 可 能 的 一 切合 式 公式 。 
关于 不 一 致 的 扩张 有 下 面 一 些 结论 ; 
1、 当 且 仅 当 W 本 身 是 不 一 致 的 时 候 ， 闭 缺 省 理论 <D，W> 有 一 个 不 一 致 的 扩张 ; 
因为 WEE， 所 以 如 果 W 不 一 致 ， 则 卫 也 不 一 致 ， 即 充分 性 成 立 。 反 之 ， 如 果 王 不 一 
致 ， 则 E 必 包 含 一 切 命题 ， 因 此 所 有 的 缺 省 规则 都 可 以 使 用 ， 因 此 由 定理 5.3 得 
E=Th(W)， 所 以 W 是 不 一 致 的 。 
2、 若 一 个 闭 缺 省 理论 有 一 个 不 一 致 的 扩张 ， 则 这 是 它 唯 一 的 扩张 ; 


缺 省 理论 的 扩张 一 般 是 不 唯一 的 ， 那 么 它们 之 间 有 什么 关系 呢 ? 

3. WEAF 是 同一 财 缺 省 理论 的 两 个 不 同 的 扩张 ， 则 如 果 EEF， 则 E=F。 并 且 

4、 如 果 Ali=<DbWIi>，A2=<DW2> 为 两 个 缺 省 理论 ， 并 且 WicW，， 如 果 As 的 扩张 都 是 
— BUN, AAA, 的 扩张 也 是 一 致 的 。 


这 是 显然 的 。 若 Al 有 不 一 致 的 扩张 , 这 Ai 是 不 一 致 的 ( 见 性 质 1)， 从 而 Az 是 不 一 致 的 〈 因 
为 WicW2)， 它 的 扩张 也 是 不 一 致 的 。 


定义 2.11 一 个 缺 省 理论 A=<D,W> 称 为 规范 ， 如 果 D 中 的 缺 省 规则 均 为 如 下 形式 ; 
B 
这 样 的 缺 省 规则 称 为 规范 缺 省 规则 。 


如 果 W 是 一 致 的 ， 由 于 每 个 规范 缺 省 规则 的 结论 和 人 缺 省 条 件 相 同 ， 所 以 不 会 导致 不 一 致 
性 ， 并 且 Reiter 给 出 下 面 的 结果 : 
(D 任何 规范 缺 省 理论 必定 至 少 有 一 个 扩张 。 
(2) 设 E 和 FE 是 同一 规范 缺 省 理论 的 两 个 不 同 的 扩张 ， 则 BUF 是 不 一 致 的 。 
这 说 明 ， 如 果 推 理 者 对 他 所 在 的 世界 有 两 种 不 同 的 想象 ， 那 么 它们 一 定 是 不 一 致 的 。 
(3) 设 A=<D,W> 为 闭 规范 缺 省 理论 ，D'ED， 且 E'. E» 分 别 为 <D’,W> 的 两 个 不 同 的 
扩张 ， 那 么 A 必 有 不 同 的 扩张 EB;、E2， 使 得 E'E E; Ec Eo. 
这 说 明 闭 缺 省 规范 理论 的 扩张 的 大 小 ， 随 闭 缺 省 规则 数目 的 增加 而 单调 不 减 。 


如 果 缺 省 规则 形式 为 : 
A:MBAMC 
B 
则 称 为 半 规 范 缺 省 规则 。 如 果 一 个 理论 所 有 的 缺 省 规则 要 么 是 规范 的 ， 要 么 是 半 规 范 的 ， 
且 至 少 有 一 个 是 半 规 范 的 ， 则 该 理论 称 为 半 规 范 缺 省 理论 。 
对 于 有 序 缺 省 理论 Cordered default theory), 需要 考虑 偏 序 关系 : 优先 关系 “<<” 和 “<<=”， 
其 中 前 者 称 为 强 优 先 关 系 ， 后 者 称 为 弱 优 先 关 系 : 如 果 在 推导 B 的 过 程 中 ， 用 到 了 C. HA 
有 : C<<B。 


piim: D-{ 全 了 人 一 他)，B 是 强 优先 于 C， 记 为 C<<B。 
























































































































































































































































































































































一 个 半 缺 省 理论 是 有 序 的 ， 如 果 不 存在 文字 Y， 使 得 Y<<Y。 例 如 : 
pa ae) :M(BA^-C) M(Ca =A) ; 
A ; B : e 
则 有 B<<A, C<<B, A««C. £4 A<<A， 因 此 该 缺 省 理论 不 是 有 序 的 。 
半 规 范 缺 省 理论 至 少 具 有 一 个 扩张 的 充分 条 件 是 要 求 闭 半 规范 缺 省 理论 是 有 序 的 。 










































































34 


ww ai bbt. com [1 HB DL O D D] 


2.6 限制 逻辑 











HE 48 (CIRC, circumscription logic) 是 McCarthy 提出 的 一 种 非 单调 逻辑 。 限 制 的 
基本 思想 是 “从 某 些 事实 A 出 发 能 够 推出 具有 某 一 性 质 P 的 对 象 就 是 满足 性 质 的 全 部 对 象 ” 
[McCarthy 1980] 。 在 常识 推理 中 ， 人 们 经 常 把 已 发 现 的 、 具 有 某 些 性 质 的 对 象 ， 看 作 具 有 该 
性 质 的 全 部 对 象 ， 并 据 此 进行 推理 。 只 有 当 发 现 其 它 对 象 也 具有 该 性 质 时 ， 才 修改 这 种 看 法 。 
这 是 一 种 非 单调 的 推理 形式 ， 在 常识 推理 中 占有 极为 重要 的 地 位 。 例 如 ， 大 数学 家 Erdos 
清 想 不 定 方程 xy = z 只 有 平凡 解 x=1，y=z 和 y=1，x=z。 后 来 ， 我 国 数学 家 柯 召 给 出 了 该 方 
程 的 无 穷 多 个 非 平凡 解 , 推翻 了 Erdos 的 猜想 。 Erdos 又 提出 新 的 猜想 , 找到 该 方程 的 全 部 解 。 

限制 逻辑 CIRC 是 一 种 极 小 化 逻辑 。 下 面 ， 从 一 个 基于 极 小 模型 定义 的 命题 限制 出 发 ， 给 
出 限制 的 基本 定义 ， 进 而 给 出 一 阶 限制 的 基本 结果 ， 并 将 它 推 / 


定义 2.12 设 Lo 是 一 个 命题 语言 ，p!:，ps 是 在 命题 语言 Lo 中 的 两 个 赋值 。 称 pi 小 于 po 


pud 
















































































































































































































































































WA p> ps， 当 且 仅 当 对 任 一 命题 变 元 x， 如 果 piGCo = 1, M p(x) = 1. 





定义 2.13 设 A 是 一 个 公式 ， 称 A 的 一 个 赋值 p 是 极 小 的 ， 当 且 仅 当 不 存在 A 的 其 它 赋 
值 p 使 








p > 


A 
el 
Oo 


o 




















显然 ，> EMRE pip 表示 pl 包含 的 真 命题 比 p2 少 。 极 小 赋值 包含 的 真 命题 





























极 小 。 
定义 2.14 极 小 后 承 Fe WA. B 是 两 个 公式 ,a FwB 当 且 仅 当 B 在 所 有 A 的 极 小 模型 中 
都 为 真 。 





























极 小 模型 是 非 单调 的 ， 它 以 命题 的 极 小 化 作为 优先 模型 的 准则 。 它 的 性 质 可 由 下 面 简单 
的 例子 看 出 。 例 如 























ph ~q 


pVqh-p V ~q 


p» qo pVahp^Adq 
命题 限制 可 定义 为 对 于 一 个 命题 集 Z 的 动态 极 小 ， 而 使 不 在 S 中 的 命题 变 元 动态 可 变 。 








定义 2.15 设 A 是 一 个 包含 命题 集 P= {po po to PIAR, ~A A 的 赋值 p 称 为 二 一 




















极 小 赋值 ， 当 且 仅 当 不 存在 A 的 其 它 赋 值 p 使 得 p  p ， 定 义 如 下 : 设 pl，p* 是 两 个 赋值 ， 




















~ 





p= 一 ps 当 且 仅 当 对 任 一 z e Z #p QU) = 1， 则 p (2^ = 1。 








定义 2.16 命题 限制 P» 或 CIRC(A,P) i A 是 一 个 包含 命题 集 P 的 公式 ,g 是 一 个 公式 , a 
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都 为 真 。 











F p 当 且 仅 当 9 在 所 有 A 的 二 一 极 小 赋值 





























命题 限制 CIRC(A，P) 可 用 如 下 一 阶 句子 描述 : 
AP) A VP'(A(P) AP >P) 一 (P 一 P) (2.5) 










































































其 中 ，P 是 与 A PRAY PAE, VP 是 一 个 命题 全 称 量 词 , a(P ) 是 在 A 中 以 P R P 
WER WRH P > 了 P 表 示 P 一 P， 则 CIRCA, PIUSA: 


AP) A -3P (AP) A P >P) (2. 6) 
命题 限制 中 一 个 逻辑 推论 记 为 A Hp RA CIRCA, P) Hp。 有 共有 如 下 的 可 靠 和 完全 
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定理 2.4A He p “MAM A H Po 
命题 限制 太 弱 。 在 此 基础 上 可 以 推广 到 一 阶 限制 。 一 阶 限制 是 基于 最 小 模型 的 思想 。 


定义 2.17 邻 L 是 一 个 一 阶 语言 ，T 是 一 个 世 的 公式 ， 它 包含 谓词 元 组 集 p 。 设 M[T] 和 















































W [TT] 是 公式 T 的 两 个 模型 。 定 义 W TIRET MIT], WAM [T] > M[T]， 当 且 仅 当 


QD) M 和 WW 有 相同 的 对 象 域 ， 














(2) 除 p 外 ， 公 式 了 中 所 有 的 其 它 关 系 和 函数 常数 在 M 和 WW 都 有 相同 的 解释 ， 




















(3) p 在 六 中 的 外 延 是 p 在 M 中 的 子 集 。 




















一 个 理论 了 的 模型 M 称 为 优先 的 ， 当 且 仅 当 不 存在 了 的 其 它 模型 使 得 WW > pM。 








定义 2.18 MÆ p 的 最 小 模型 ， 当 且 仅 当 M >p Mo M = Ms 





例如 ， 设 论 域 D = {1，2} 上， 

T = Vx JyP) ^ Q(x, y) 
= [PQ) A QQ, 1)) V P2) ^ QG, 2))] A 
[(P(1) A R2, D VE) A Q(2, 2))] 


dí M P() P(2) QU 1) Q(1, 2) Q(2, 1) Q(2，2) 
True True False True False True 

M: PO) P) Q1, D  Q0,2  QQ,D  QQ.2 
False True False True False True 























HETJAN, BUE M ALM RTP a] Q 的 真 值 设 定 是 相同 的 ， 而 对 P 来 说 , M 中 有 {1，2} 中 的 元 素 使 






































P 为 真 ， 而 中 仅 有 {2} 中 的 2 使 P 为 真 ，{2} cc {1，2} 。 于 是 有 NM =M 如 果 >M, 而 









































AM 4M, WEM >M 对 理论 T 来 说 ， 如 果 对 任 一 M > Mo VAM = Mn 时 ， 就 说 Mm 
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是 P 的 最 小 模型 ， 对 任 一 个 T 来 说 ， 最 小 模型 不 一 定 总 存在 。 
设 含 有 谓词 P 的 信任 集 T， 寻 找 对 了 的 假设 (扩充 ) 公式 pe MEAR TA ge 的 任 一 模型 W， 





























* 
不 存在 了 T 的 模型 M 满足 
* 
M >p M 


或 说 扩充 后 T 人 入 gr 的 模型 对 P 来 说 不 能 比 原 来 T 的 模型 来 得 大 ， 是 一 种 最 小 的 扩充 。 依 这 最 
小 化 原则 所 得 的 T Ape 便 是 了 对 P 的 限制 。 












































y * y H aL Y M. MZ * H 
WP 是 某 个 谓词 常 项 ， 它 与 P 有 同样 的 变 元 个 数 ， 由 了 来 构 迁 pg。， 可 指出 
































(Vx P. (x) — P(x)) A —(Vx PG) — P. Q0) A T(P 
的 任 一 模型 都 不 是 T 对 P 的 最 小 模型 。 从 而 


~ (Yx P G)) > PG) An(¥x PG) > P (x)) A TP) 





的 任 一 模型 是 了 对 P 的 最 小 模型 。 于 是 
gr = VP ACV x P(x) — PO)) Aal PA — P' G)) A TC) 
为 了 对 P 的 限制 公式 。 
定义 2.19 一 阶 限制 的 语义 后 承 ， 记 为 了 Femc gp 或 CIRC(T, P) Fp， 当 且 仅 当 p 在 所 有 
T 的 对 于 >" 的 最 小 模型 中 都 为 真 。 理 论 T 的 限制 公式 的 合 取 式 给 出 在 了 中 的 限制 P: 





























CIRC(T, P =T A VP S((V3) (P G)—PG)) A ACV 3) (PGO 


> P'GDA T(P)) (2. 7) 
该 公式 可 以 变 成 
CIRC(T, P) = T AYP ((T(P) A (Yx) (PG) POCO)) 


= (Wx) (P(x) > P (x))) (2.8) 

















这 个 公式 是 高 阶 逻 辑 公 式 ， 因 为 量词 vV 作用 于 谓词 P ， 但 在 很 多 情形 下 可 化 为 一 阶 逻辑 公式 。 














p = VP. (TB A (V3 (x) ~PO)) —(V3 (PO — P GD) 29 





是 说 ， 如 果 求 得 P 使 TP ) 成 立 ， 又 满足 Vx (P”(x) 一 P(X)) 那 么 Vx (PG) — P (x)) 便 
可 作为 推理 的 结论 。 








CIRC(T，P) 还 可 写成 另 一 种 形式 ， 将 P 记 作 P_ A P ("Js P 的 变 元 个 数 相同 的 谓词 党 
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项 )， 于 是 有 


pr = T(P AP) VPR) ACP' (x) > RO) > (Vx) PR) PG) A P (x)) (2.10) 


从 而 得 到 
TP AP) > (Vx) (Px) 一 P 09) 


若 将 (Vx) (Px) 一 PREP > P， 则 





米 EC * * 
P >P 表 示 (P > P A AP > P) 


P =P 表示 (P > P) A Po P) 





H 


p 





p 就 是 
p = VP (TP) AC > P) (px P» 


得 到 


ge = VP (TP +4 (P-P) 


=~ (I (T(P) A (>D)) 











(2. 11) 


(2. 12) 


(2. 13) 


这 就 更 明显 地 可 看 出 ， 最 小 模型 限制 表明 ， 不 存在 P 满足 7 而 且 使 P 成立 的 外 延 是 P 成 立 外 














延 的 真子 集 。 



































定理 2.5 已 知 谓词 P 和 信任 集 T(P)， 对 任 一 P 来 说 ， 如 果 T(P) FTP’) A (P 二 P) 则 


CIRC(T, PD = TD A (P=P’) 











(2. 14) 


这 定理 给 出 ， 如 果 T(P) 能 证 明 T(P’) 人 入 (P” > P, MAPP, WA TX P 的 限制 公式 。 


2.7 非 单 调 逻 辑 NML 











在 1980 年 前 后 ，McDermott 和 Doyle 就 非 单调 推理 发 表 了 几 篇 有 



























































影响 








的 文章 , 


述 了 他 




















们 自己 所 建立 的 非 单 调 歇 辑 推 理 系统 ， 称 为 NML[McDermott 1980]。 这 一 系统 是 建立 在 一 阶 



































逻辑 基础 上 ， 并 引进 模 态 词 9， 称 为 相 容 性 操作 符 。 例 如 : 
Vx (Bird(x)A 0 Fly(x) > Fly(x)) 

















上 式 表示 : 如 果 x 2S, 并 且 x 可 以 是 和 现 有 知识 相 容 的 ， 则 x 会 飞 。 












































殊 情况 。 但 是 由 于 非 单调 逻辑 中 人 允许 0A 与 一 般 命 题 一 样 使 用 ， 而 缺 省 


















































可 以 看 出 NML 可 以 处 理 缺 省 假设 ， 因 此 前 面 介 绍 的 缺 省 理论 可 以 看 作 是 NML 的 一 种 特 











LYE 





























"d 
































下 面 我 们 来 考虑 根据 相 容 性 操作 符 0 定 义 非 
的 直观 意义 ， 可 以 有 下 述 规 则 : 
如 果 |-/ 一 A， 则 有 |-0 A 








ae 
































表示 如 果 我 们 推 不 出 A 的 否定 成 立 ， 则 认为 A 为 相 容 的 。 但 是 这 样 做 是 不 合适 的 ， 因 为 这 样 
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里 规则 中 使 用 ， 使 得 NML 理论 与 缺 省 理论 有 许多 根本 不 同 的 地 方 。 
站 推理 机 制 问 题 。 从 语法 的 角度 





POA 只 能 在 缺 省 推 




















看 ， 根 据 0 




















4g 


于 把 一 切 非 定理 的 否定 接受 为 定理 ， 没 有 什么 非 单调 可 言 了 。 














McDermott 和 Doyle 修改 上 式 为 : 


WR-/—A, N 




















上 1 有 |~ OA 





这 里 的 |~ 符 号 和 缺 省 理论 中 是 一 样 的 ， 表 示 非 单调 地 推出 。 
我 们 也 可 以 通过 下 面 解释 来 说 明 |~ 是 否 就 是 一 阶 谓 词 的 可 证 明 关 系 |- 。 
































我 们 知道 ， 对 于 单调 














KHMER: 





{ T cS > THT) c Th(S) } 



































假设 T|-fly(tweety) (2.15) 
并 且 S=T Uf — fly(tweety) } (2.16) 
现在 ， 因 为 fly(tweety) 是 属于 T， 则 由 (2.15) 和 (2.16) 有 
S|- fly(tweety) (2.17) 
根据 S 的 定义 ( 见 (2.16)), A S|- afly(tweety) (2.18) 














表达 式 (2.17) 和 (2.18) 显 然 是 矛盾 的 ， 因 此 ThT) c Th(S) 不 满足 。 这 说 明 不 能 用 |- 代 替 |~。 


如 何 对 |~ 进行 解释 呢 ? 假设 将 含有 模 态 词 ?的 一 阶 谓词 演算 系统 记 为 FC， 将 允许 使 用 0 
的 一 阶 公式 的 全 体 集合 记 为 Lrc， 则 对 任何 公式 集合 六 Lro Th) 3: 





Th 















































(7)={AlTl-rcA} 




















为 了 更 清楚 地 定义 Th( 由 ， 首 先 定 义 非 单调 算 子 NMr。 它 可 基于 矿 和 相 容 性 操作 符 0 定 义 


如 下 : 





对 任意 的 公式 集合 Sc Lro 





其 中 ASM7r(S) 称 为 S 的 假 


NMr(S) = ThCrwASMr(S)) 


设 集 : 





ASM7(S)={ 0Q| Q e Lec ^ 2QeSj 
那么 可 以 定义 ThA: 
Th(7) =A (iLrc } Y {S | NMz(S) =S}) 
从 上 式 可 以 看 出 Th(D 可 以 说 是 NMr 算 子 的 所 有 固定 点 的 交集 ， 而 当 NMr 无 固定 点 时 ， 





Th(7) =A (fLrc )-fLzc }， 即 约定 ThA FC 公式 的 集合 。 
那么 ~ 可 以 理解 为 : 如 果 Pe Th), HARK P APH JERE, HEA I~P。 






















































































注意 算 子 NMr 有 固定 点 时 ,~P 是 指 P 在 算 子 NMr 的 每 一 个 固定 点 中 ， 而 在 缺 省 理论 









































中 ，P 在 A 中 “可 证 ” 是 指 P 属于 A 的 某 一 个 扩张 ， 即 在 算 子 的 某 一 个 固定 点 中 。 





























例 2.10 假设 为 公理 

















里 论 ， 包 括 








0 P> -QU 以 RO Q3 =P 


形式 地 表示 为 : 六 = 了 








Cu (0 P2 =Q,0Q> =P} 





则 该 系统 有 两 个 固定 点 (P, Q), ( P, Q), 即 一 个 固定 点 含有 -Q， 不 含有 Po 另 一 

















> 





国定 点 含有 --P， 不 含有 





























x 





而 对 于 厂 = FCu(0 P 了 一 P}， 该 系统 没有 固定 点 。 


i NMr(S)=S’, 若 一 P 
(S) MOP gS'。 这 就 是 说 
上 述 现象 可 以 解释 如 











gS, 那么 9Pe ASM/(S), 从 而 -PeS’; RZ, #-PeS, NOPE ASM; 
S 不 可 能 等 于 S, NM/ 无 固定 点 。 


F: 





(0 P> —P! |~ FA 




















McDermott 和 Doyle 指出 采用 NML 进行 推理 会 有 两 个 问题 : 
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(1) 
(2) 


或 者 : 
第 一 个 定义 是 说 : P 是 必然 的 ， 可 以 用 另外 的 方式 表示 为 P 的 否定 是 不 相 容 的 。 第 二 








无 法 从 9 (AAB) 





EHO A 

















{OP Q, AQ} 非 单调 推出 的 结论 是 什么 ? 
为 了 克服 上 述 问题 ， 像 相 容 性 操作 符 9 一 样 ，McDermott 和 Doyle 借用 了 其 他 模 态 逻辑 的 





操作 符 ， 称 为 必然 性 


操作 符 ， 记 为 


























P=— 0 一 P 





OP= 一 











一 P 








， 它 们 之 间 关 系 如 下 : 





义 是 说 : P 是 相 容 的 ， 可 以 表示 为 P 的 否定 不 是 必然 的 。 


2.8.1 Moore 系统 Lz 


2.8 


自 认 知 逻辑 





























个 定 


AU Ae 48 (autoepistemic logic) 是 Moore 首先 引进 的 [Moore 1985]， 它 的 目的 是 要 刻 








划 智 能 主体 对 于 
种 具有 

















体 的 信念 表示 成 一 组 迪 辑 公式 ， 

















g 


的 知识 和 信念; 











{THEA 


的 规律 。 从 纯粹 逻辑 的 / 


















































个 模 态 算 子 B 的 模 态 逻辑 ， 其 中 B 被 解释 为 “相信 ”或 者 
那么 自 认 知 风 辑 的 一 个 基本 任务 就 是 要 刻 划 这 组 公式 应 该 满 


IRA, HAKE 





«Api. 如果 把 一 


Eon 
AE 


个 主 





足 什 么 样 的 条 件 。 直 觉 上 ， 主 体 应 该 相信 从 它 目 前 的 信念 出 发 利用 逻辑 规则 能 推导 出 来 的 那 
些 事实 ， 而 且 如 果 主 体 相 信 茶 个 事实 或 者 不 相信 某 个 事实 ， 那 么 该 主体 应 该 相信 和 它 自 己 相信 


























了 某 个 事实 或 者 相信 和 它 自 己 不 相信 和 某 个 事实 。 


Moore 考虑 自 认 知 理论 T 对 于 一 组 初始 前 提 A 是 可 靠 的 ， 当 且 








解释 器 是 一 个 T 中 的 自 认 知 模型 ， 其 中 全 前 





满足 下 列 条 件 : 


(1) XP, 


…，P，e T,and Pi, 


(2) XP e T, WBP e T. 
(3) x PET, WBP e T. 





在 这 种 情况 下 ，3 
HO. A, PRIA 




















FE 体 不 能 再 得 到 更 进 一 
FO V 











(4) WBP e T, WP e T. 
(5 如 果 BP e T, WMJPeT. 


FLA ATE REDI EISE y E nee A ir e 


把 这 样 一 个 逻辑 记 作为 La。 





2.8.2 OL 逻辑 





某 个 事实 是 主体 所 知道 
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在 Moore 系统 Lf 




















^4 fl 


Us, P. 








BA 的 公式 为 真 。 

















FQ, 则 Q e T. 





步 的 结论 ， 因 此 ，Moore 称 








MS 
个 理想 的 理性 主体 的 信念 尼 





NZ 


T 中 的 每 一 个 自 









































上述 理论 为 稳定 自 











认 知 


gi 


认 知 


符号 ,逻辑 联结 词 ~， 信 以 及 模 态 词 BT. S] 


EE, Levesque 引入 另 一 个 模 态 词 0， 希 望 表 达 “ 关 于 某 个 方面 ， 





的 仅 有 的 《所 有 的 ) 情况 “这 样 一 类 陈述 ， 形 成 Le WHR [Levesque 
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om 0000000 








1990] 。 在 L: MOL 中， 公式 及 其 他 的 语法 概念 与 一 般 的 模 态 逻辑 一 样 的 方式 定义 。 如 果 在 公 





式 业 中 不 出 现 模 态 词 B 以 及 0 我 们 就 把 这 个 公式 称 为 一 个 客观 的 公式 ， 否 则 就 称 为 主观 的 公 








The FEOL 中， 如 果 公 式 VW 中 不 出 现 模 态 词 0 我 们 就 把 该 公式 称 为 基本 公式 。 如 果 我 们 把 每 个 














形 如 Byv 的 公式 看 成 一 个 命题 符号 ， 那么 根据 经 典 命题 演算 的 有 关 结 论 ， 我 们 可 以 把 每 个 自 认 
知 罗 辑 的 公式 化 成 〈 析 取 以 及 合 取 ) 标准 型 。 如 下 就 是 所 谓 的 Moore 析 取 标准 型 定理 ， 其 合 
取 标 准 型 定理 可 类 似 地 给 出 。 








































































































定理 2.6 (Moore 析 取 标准 型 定理 ) 对 任意 公式 vets, 等 价 于 一 个 具有 以 下 形状 为 
< 





V; V wv, Vee V yx 的 公式 ， 这 里 每 个 Vw; (1 i< k) RAAR 
Bg: A … AB Qi, ni /\ —B@i,1 和 人 … A Boi, ni A Pii 
Yii 是 客观 公式 。 




















下 面 ， 我 们 在 OL 中 定义 模型 的 概念 以 及 模型 和 公式 之 间 的 可 满足 关系 。 不 失 一 般 性 ， 我 
们 假定 在 我 们 的 可 数 多 个 命题 符号 集 〈 记 作 L) 上 存在 一 个 序 关系 。 记 2 为 所 有 的 从 L 到 {0， 

















1} 所 有 函数 ， 即 所 有 赋值 的 集合 。 在 0 中 ， 一 个 模型 就 是 一 个 对 偶 W w RE V 是 2 的 一 























个 子 集 ， 而 w 是 2 中 的 一 个 元 素 。 








定义 2.20 ELF, SW, vw 是 一 个 模型 ,而 WV 是 一 个 公式 。 我 们 定义 满足 关系 W，w 上 上 
vU F: 


() WR vw 是 一 个 命题 符号 p， 则 W，w 上 p 4SAM4w(p) = 1; 











(2)W，wF av 4SAM4W, wl# V; 





(3W, wk (vw Ap) 当 且 仅 当 W wF v WHW, wFg: 
(HAW, wH Bv 当 且 仅 当 对 所 有 的 we WW, w F v. 























定义 2.21 SV, v 是 一 个 模型 , 9 是 0 中 的 一 个 公式 ,W w E 0p 当 且 仅 当 W,w 上 上 Bo, 
而 且 对 每 个 ww ， 如 果 见 w Fw ew 


模 态 词 0 是 通过 对 模 态 词 B 的 定义 作 必 要 的 修改 而 得 到 的 。 它 们 间 的 关系 可 从 如 下 两 式 
中 看 到 














W, wFBY 当 且 仅 当 对 于 每 一 个 ww ， w eWo Ww y; 
W wFov 当 且 仅 当 对 于 每 一 个 只 ， w eW eWuw rnv. 
引进 了 模 态 词 0 的 好 处 在 于 ， 它 和 稳定 扩张 之 间 有 着 密切 的 联系 。 在 一 定 程度 上 ， 我 们 
可 以 通过 它 来 刻 划 稳定 扩张 。 以 下 的 结论 表明 了 这 个 事实 。 
定理 2.7 (稳定 扩张 ) 对 于 每 个 基本 公式 W 以 及 每 个 极 大 赋值 集 W WF Ow 4AM 
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(v: w 是 基本 公式 而 且 WF Bw} v 的 一 个 稳定 扩张 。 
推论 2.1 公式 vw 的 稳定 扩张 的 数目 与 所 有 的 满足 0v 的 极 大 赋值 集 的 数目 相等 。 
2. 8. 3 标准 型 定理 












































标准 型 定理 对 于 探索 稳定 集 和 稳定 扩张 的 结构 是 十 分 重要 的 。 如 上 文 所 述 ，Moore 利用 经 
































典 命题 逻辑 的 方法 得 到 了 两 个 自 认 知 逻 辑 的 标准 型 定理 。 我 们 是 直接 从 语义 的 角度 出 发 的 ， 
而 且 可 以 看 到 我 们 得 到 的 标准 型 是 相当 简单 的 。 
定义 2.22 ”对 于 每 个 基本 公式 WwW， 我 们 递归 地 定义 它 的 秩 rank Cw) 如下: 

(1) WR v 是 一 个 客观 公式 ， 则 rank (Ww) = 0; 

(2) WR Vv = vi A vo, 则 rank(w) = Max(rank(w1), rank(v2)); 

(3) WR v = p, Wl rank(v) = rank(p); 

(4) 如 果 =B p, Wrank(w) = rank(@) + 1. 

引 理 2.1 以 下 陈述 成 立 : 

(1) 上 BBCV))<> Bly); 

(2 F BCBG)) eo -BCv); 

(3 F B(B(v)Ag) eGB(v) AB(y); 

(4) F BGB(v) Ag) <>-B(v) AB(Q); 

(5 F B(D(v) Vg) OB(v) VB@); 

(60 上 BCB(w) Vo) —B(wv) VB(Q). 

5/32 2.2 FB B(w) V … V Bly.) V Ble) V =B) V 9) e 
(B(w) V «+ V B(w) V —B(g) V + Big.) V BC Q9). 




















Ww 


— 

















定理 2.3 ( 合 取 标准 型 定理 ) 对 于 每 个 v els v (语义 ) 等 价 于 形状 如 vA vs 
Awe A Wx 的 一 个 公式 ， 其 中 Wi (x ix k) 具有 形状 Bg: VoM Boi, ni V —Bqi.: Mss 

















V-—Bgi, V Vii, 而 gi,;， Qin (1x ix k, 1< js mi; IS ns Nis Wii 是 客观 公式 。 





证 明 对 公式 v 的 秩 进 行 归纳 。 如 果 rank(w) = 1， 我 们 要 证 明 的 结论 就 是 Moore 的 合 

















据 Moore 的 析 取 标准 型 定理 我 们 有 
y - y V y VV yt 

REHA v Ox i < k) 具 有 形状 
Bp; As A Bg u A —B Qi A^ c A -Bg s A Vii 
根据 归纳 假设 ，rank(p i) < N-1, rank(g) < N-1, rank(w ) = 0. 
于 是 qi. p 等 价 于 一 个 秩 至 多 为 1 的 公式 。 不 失 一 般 性 ， 令 p 具有 如 下 的 形状 

xl A we A x? 
这 里 每 个 x, AS h d) 具有 形状 
Bxui V ** V BXsa V BX hm V ** V BX’ na V Xi 


[Xai Xe G< hz d, 1€ jS Un» IS ns va), xi 是 客观 公式 ]。 
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取 标 准 型 定理 。 以 下 假设 我 们 的 结论 在 公式 的 秩 不 超过 N-1 时 都 成 立 而 且 rank(w) = No JR 























FEAR iE, Bo; 等 价 于 
B(x) A œ A BC Xa) 
(2. 17) 























而 且 根 据 引 理 2.2 每 个 B(x 都 等 价 于 
Bxunr V ** V Bxnwm V BX’ ni V e V BX’ nma V BX m 
(2. 18) 
[ise X’ nn CS hS d, 1S jS un, IS NS v) Xm ERMAR]. 
现在 用 式 (2. 18) 来 替代 每 个 Bx*， 而 用 式 (2. 17) 来 替代 每 个 o; 等 等 。 于 是 我 们 就 得 到 一 
个 与 WL- 等 价 而 且 秩 至 多 为 1 的 公式 。 
利用 经 典 命题 逻辑 一 样 的 技巧 把 所 得 到 的 公式 化 成 析 取 标准 型 ， 最 后 我 们 就 得 到 了 我 们 
希望 得 到 的 公式 。 
利用 对 偶 性 ， 我 们 得 到 如 下 的 推论 。 
推论 2.2 ( 析 取 标准 型 定理 ) 对 于 每 个 y e Ls，VWL- 等 价 于 一 个 具有 以 下 形状 的 公式 : 
Vi VU; Ve V Wk， 这 里 每 个 vi (1X ix k) 具 有 形状 Bp A … ABQin A -Boi 
A+ A-Bgus A Vis 而 Pip Gan IS i, mS k, 1X jx m, IX nx n, yi 是 客观 
公式 。 
2.8.4 -记号 以 及 稳定 扩张 的 一 种 判定 过 程 
这 里 , 我 们 首先 给 出 信 - 记 号 的 定义 。 因为 2 是 一 个 布尔 代数 而 我 们 的 模型 是 2 中 的 子 集 
以 及 元 素 构成 的 对 偶 ， 因 此 如 果 把 我 们 的 逻辑 的 语义 按照 集合 论 的 格式 进行 定义 ， 我 们 将 得 
到 一 个 关于 自 认 知 逻 辑 直 观 简洁 的 理解 。 同 时 我 们 也 将 得 到 一 个 关于 稳定 扩张 的 代数 解释 。 
基于 以 上 的 新 解释 我 们 构造 我 们 的 关于 稳定 扩张 的 判定 过 程 。 
定义 2.23 (人 -记号 ) ”对 于 每 个 基本 公式 WW， 我 们 定义 关于 v 的 今 - 记 号 Ov 如 下 : 
(1) WR v 是 一 个 命题 符号 p, 则 Os fw: we 2 Aw) = 1}); 
(2) WR v =p, W Op = “Qo -2 - Qo， 这 里 ，“ 是 集合 论 中 的 求 补 运算 符号 ; 
(3) WR w- wi ^ vo Jl Onan On NOw 这里， 站 是 集合 论 中 的 求 交集 运 
算 符号 ; 
(4) HE w = Bo, Jl] OBp = Ov. 
引 理 2.3 4 w, 是 客观 公式 ， 则 
(DF v >p 当 且 仅 当 Ov c Op: 
(2) { v, p} 可 满足 当日 仅 当 Ov noe. z 9. 
现在 我 们 用 集合 论 的 格式 来 定义 自 认 知 逻 辑 的 语义 。 根 据 我 们 的 标准 型 定理 ， 只 需要 对 
其 中 的 几 种 情形 加 以 考虑 。 
定理 2.8 $ v, p 是 客观 公式 而 W w 是 一 个 模型 ， 则 
(QW, wF v MHNA we Ou; 
(2W, wk v Ap SHAR W, wk w 而 且 W, w 上 9; 
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(3)W, wE By HNA W eO; 
(QW, wE Bw 4AM4 W c OQ,。 

















下 面 我 们 先 来 定义 一 种 0- 性 质 ， 然 后 来 看 看 在 我 们 的 意义 之 下 算 子 0 的 含义 。 









































定义 2.24 令 w 是 一 个 基本 公式 并 且 共 有 定理 2.5 

















{ 1，…，k }。 如 果 以 下 条 件 成 立 我 们 就 说 本 具有 0- 性 质 : 
(对 于 每 个 re J, Uzes Ovi F Bon A c AB Pem 人 -Bp A … 人 Bom; 
(2) MFRS tET, Ui cro vi E Bp A cc AB Pum 人 A-Bp A … 人 人 -Bout; 
我 们 可 以 从 两 方面 来 判定 一 个 集 公 式 是 否 具 有 0- 性 质 。 第 一 种 方法 属于 集合 论 的 范 

畴 ， 而 第 二 种 则 属于 逻辑 语义 的 范畴 。 它 们 事实 上 是 等 价 的 。 
引 理 2.4 (集合 论 方法 ) JAA 0- 性 质 当 且 仅 当 以 下 条 件 成 立 : 对 于 每 个 reJ， 















































中 所 给 出 的 标准 型 定理 的 形状 , 令 JS 




















1<plS<n,, 1<p2<n,, OIC O@r vi MAO £ OQ. IMS 而 且 对 于 每 个 téJ, 存在 1<ql 





xm BÉ I1xq2xn 使 得 Oj Op a REOS Oque, BHO MV ics O wi 的 缩写 。 




















引 理 2.5 (语义 方法 ) JAA 0- 性 质 当 且 仅 当 以 下 的 公式 集 是 可 满足 的 
{ VQ: rej, 1<p1<n,} U [Aq sw: rej, 1<p2<n,} U (v) U [Vues 1<ql 


Sat vw! Anup t, ql } V Vae J, igne Waa} , 


























这 里 Ww 是 Viey Vis MARS» HPN MEA! ce HEL A | BE 2. 4 412.5 以 下 定理 显然 成 立 。 
定理 2.9 对 于 任何 的 基本 公式 VW， 在 定义 2.13 的 假设 之 下 ， 存 在 一 个 判定 过 程 判 定 集 























合 { 1，… ，K } 是 否 具有 0- 性 质 。 























为 了 判定 丁 是否 具有 OHM, 我 们 只 需要 判定 引 理 2. 5 是 否 是 可 满足 的 。 因 为 任何 一 集 ( 有 











限 ) 的 客观 公式 都 可 以 作为 引 理 2. 5 中 的 第 二 三 个 分 支 的 候选 对 象 , 因此 模 


完全 问题 ， 判 定 { 1，… o k 的 一 个 子 集 是 否 具有 0-H 


















































据 SAT 问题 是 NP- 











E 质 的 问题 是 NP 


定理 2.10 在 定义 2.24 WBRZ F, SW, w 是 一 个 模型 。 则 W，w 
[L oee k } 的 具有 0- 性 质 的 子 集 J 使 得 WUjeO wi; = O Uje Y jjo 





























TEAR 回顾 定义 ， 我 们 有 WF OW 当 且 仅 当 
(1) W, w H By; 
(2) FRA w, AW, weEv 则 weW. 





























ee 
完全 问题 。 


row 当 且 仅 当 存在 











首先 我 们 假设 W wH OW, $ J={j: W, w FBpi Ac ABP; AABE; ^c AOBQ;sl o 


于 是 根据 (1 我们 有 W CUO wis 而 且 根据 (2) 我 位 有 UisC VimncEW。 所 以 有 UisC ws. 














民 据 0- 性 质 我 们 容易 验证 另 一 个 方向 也 是 正确 的 。 

















推论 2.3 $ w 是 基本 公式 ， 则 在 定义 2. 13 的 假设 之 下 ， 所 具有 的 稳定 扩张 的 个 数 与 




















{ 1，…，k } 的 具有 0- 性 质 的 子 集 的 个 数 相等 。 


n 




















推论 2.4 S v 是 基本 公式 ， 则 在 定义 2. 13 的 有 关 假 设 之 下 ，Y 存在 唯一 的 稳定 扩张 当 




















日 仅 当 存在 唯一 的 Jeli; ae k} 使 得 J 具有 0- 性 质 。 




















EW 2.3 和 推论 2.4 在 具体 地 判定 公式 集 是 否 具有 
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稳定 扩张 方面 十 分 的 简洁 直观 。 以 下 





我 们 看 儿 个 例子 。 

例 2.11 令 v X Bpo FÆ y 等 价 于 Bp 八 -B(r 八 -+r) 八 (qV 一 q)。 此 时 唯一 可 能 的 极 大 集 
FEO «vo, Bl 2’. A v 没有 稳定 扩张 。 

例 2.12 & w A p. XXH p SET. B(aV 59) A-B(rAar) Ap， 因 为 CS Oov_w=2 而 

















且 








Or £O» = 8， 所 以 p 具有 唯一 的 稳定 扩张 。 


例 2.13 & v X (ABp>q) A (-Bq-—p). Xi, 我们 的 公式 等 价 于 (Bp 八 Bq) V (BpAp) V 
(Bq Aq) V (pAq), ， 因 此 可 能 的 具有 0- 性 质 的 极 大 集 有 : Oo Oo Ov» BUE Oves 容易 验 
证 只 有 人 ,和 人 ,具有 0- 性 质 。 因 此 给 定 的 公式 集 有 两 个 稳定 扩张 。 
由 以 上 的 一 系列 结果 ， 我 们 有 以 下 的 关于 稳定 扩张 的 判定 过 程 : 
输入 : 一 个 基本 公式 v. 
初始 状态 : N=0。 

第 一 步 : 把 w 化 成 秩 至 多 为 1 的 析 取 标准 型 ， 
令 k 是 Y 的 上 述 析 取 标准 型 中 析 取 分 支 的 个 数 ; 
222% 
[这 里 2 表示 由 {1，…，k } 的 所 有 子 集合 构成 的 集合 。] 
第 二 步 : 循环 。 
"R2 Ø, ER Je 25 
如 果 丁 具有 0- 性质，N=N+1，2 = 2°, 
重复 第 二 步 ; 
WR J BAT 0- 性 质 ， 2 = 2-] 
重复 第 二 步 ; 


输出 : NCw 的 稳定 扩张 的 个 数 ) 。 








































































































2.9 真 值 维护 系统 





真 值 维护 系统 TMS (truth maintenance system) 是 一 种 与 默认 推理 既 有 联系 ， 又 有 区 别 的 
种 推理 技术 ， 正 如 一 阶 谓词 和 产生 式 系 统 既 有 联系 又 有 区 别 一 样 。 真 值 维护 系统 是 大 型 推 
理 系 统 的 一 个 子 系统 ， 实 现 对 知识 库 中 信念 (belief) 的 维护 [Doyle 1979] 。 它 的 基本 问题 是 : 
CD 必须 在 不 完全 的 、 有 限 的 信息 基础 上 做 出 假设 的 决策 , 使 该 假设 成 为 知识 库 的 信念 Q 当 
这 些 决策 的 结论 被 以 后 的 事实 证 明 为 错误 时 ， 如 何 对 其 信念 进行 修正 。 

真 值 维护 系统 有 两 种 基本 的 数据 结构 : 结 点 表示 信念 和 理由 (justification) 表示 信念 
的 原因 。 真 值 维护 系统 的 理由 与 默认 理论 的 理由 含义 不 同 。 前 者 不 仅 包 括 已 知 的 知识 也 包括 
假设 的 知识 。TMS 的 基本 操作 是 : 新 结 点 的 形成 一 一 将 信念 赋 与 该 结 点 ; 一 个 结 点 的 新 理由 的 
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加 入 一 一 表示 把 某 个 信念 与 该 结 点 联接 起 来 。 新 的 理由 的 加 入 给 我 们 提供 这 样 一 种 可 能 : 对 
每 个 信念 结 点 ， 把 一 个 或 多 个 理由 作为 它 的 充分 支持 。 当 该 结 点 为 不 可 信 时 (可 能 由 于 新 知识 
的 加 入 引起 ) 真 值 维 护 系统 就 可 据 此 进行 信念 修正 。 有 具体 实现 则 是 : 寻找 这 样 的 结 点 ， 它 的 理 
























































































































































由 充足 的 支持 依赖 于 已 改变 的 信念 ， 并 修正 这 些 结 点 的 信念 。 另 外 由 于 要 求 每 个 结 点 都 必须 








有 理由 充分 的 支持 与 2 
念 的 理由 充足 的 支持 ， 




















来 避免 以 后 出 现 类 似 的 矛盾 。 
真 值 维 护 系 统 的 实现 主要 包括 两 个 过 程 ， 一 个 是 默认 假设 的 形成 ， 另 一 个 是 相关 性 回溯 
过 程 ， 它 们 均 依 赖 于 信念 的 表示 方法 。 


























1， 信 念 知识 表示 














相 联 ， 这 就 保证 了 下 述 过 程 的 实现 一 一 相关 性 回 淹 ， 通 过 跟 踩 矛 盾 信 
去 掉 引 起 该 矛盾 的 假设 结 点 之 一 以 消除 矛盾 ， 并 同时 生成 一 个 记录 用 












































一 个 结 点 可 能 有 若干 个 理由 ， 每 个 理由 表示 该 结 点 中 信念 的 一 个 原因 。 一 个 结 点 是 可 信 






































的 , 如 果 它 的 理 























中 推出 。 


























IN— £Zii ni 





0UT 一 结 点 





至 少 有 一 个 是 有 效 的 。 所 谓 有 效 是 指 它 可 从 现行 知识 库 \ 包 括 假设 的 信念 集 ) 






































在 真 值 维 护 系统 中 ， 每 一 个 命题 或 规则 均 称 为 结 点 ， 它 分 为 两 类 ; 


相信 为 真 
不 相信 为 真 ， 或 无 理由 相信 为 真 ， 
或 当前 没有 任何 有 效 的 理由 。 





















































这 样 ， 任 何 命题 p 就 有 四 种 知识 状态 : 表示 p 为 IN- 结 点 或 00T- 结 点 ， 及 表示 p 为 非 IN- 





结 点 和 0UT- 结 点 。 








每 个 结 点 附 有 理 | 















































表 ， 表 中 每 一 项 表示 具体 结 点 的 有 效 性 。 在 真 值 维护 系统 中 有 两 类 不 











同 的 理由 表 ， 一 个 称 为 支持 表 SL(support list) ， 另 一 个 称 为 条 件 证 明 CP (conditional 
proof). 。 前 者 是 它 所 在 结 点 的 信念 之 原因 ， 即 该 信念 的 存在 依赖 于 该 表 中 的 理由 ; 而 后 者 则 





























SCH SL 的 形式 : 



























































是 出 现 矛 盾 的 原因 ， 即 一 个 矛盾 结 点 的 存在 是 该 表 中 的 理由 所 致 。 























({SL (XIN- 结 点 表 >) (<0UT- 结 点 表 >》)) (2. 19) 

















这 里 IN- 结 点 表 中 的 IN- 结 点 表示 知识 库 中 的 已 知 知识 ， 而 0UT- 结 点 表 中 的 0UT- 结 点 则 





表示 这 些 绪 点 的 否定 ， 
































不 在 知识 库 中 ， 为 默认 知识 。 显 然 ， 如 果 0UT- 结 点 表 为 空 ， 则 该 系统 

















晓 化 为 单调 推理 。 如 果 支 持 表 SL 中 的 IN- 结 点 表 中 每 个 结 点 当前 都 为 IN- 结 点 ， 且 在 0UT- 结 
点 表 中 每 个 结 点 当前 都 为 00T- 结 点 ， 那 么 文 持 表 SL 理由 是 有 效 的 。 

































































文 持 表 SL 最 通用 。 例 如 : 

(1) 现在 是 夏天 (SE 9 €) 

(2) 天 气 很 潮湿 (SL (1) ()) 

结 点 (1) 的 SL 表 中 的 IN- 结 点 表 和 0UT- 结 点 表 为 空 ， 表 明 它 不 依赖 于 任何 别 的 结 点 中 当 





前 的 信念 或 默认 信念 。 











这 类 结 点 称 为 前 提 。 而 结 点 (2) 的 SL 表 中 IN- 结 点 表 含 结 点 (1) ， 这 说 











明 导 致 结 点 (2) 可 信任 结论 的 推理 链 依 赖 于 当前 在 结 点 (1) 的 信念 。 由 此 可 见 ， 真 值 维护 系统 


46 




















ww ai bbt. com [1 HB DL O D D] 





的 推理 与 谓词 逻辑 系统 相 类 似 ， 不 同 的 是 真 值 维 护 系 统 可 以 撤消 前 担 ， 并 可 以 对 知识 库 作 适 
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没 


为 结 点 (3) 提供 了 一 个 证 据 , 则 结 点 (2) RAR OUT, 因 


这 
的 











修改 。 
































如 果 支 持 表 SL 中 的 0UT- 结 点 表 不 为 空 ， 如 : 














(1) 现在 是 夏天 
(2) 天 气 很 潮湿 
(3) 天 气 很 干燥 
FAA) I 
有 天 和 气 很 了 





, 


























样 的 结 点 称 为 假设 ， 


部 分 。 但 























(SL () 
(SL (1) 


结 点 (3) 是 OU 





它 与 非 空 








( )) 
(3) ) 

















中 











证 实 来 维 





dT 

















不 


如 


FEWE. Ei 











E 实 必须 





使 月 

















条 件 证 明 CP 








Fil 











RECA RA I 
(1) TIN- 假设 
(2) OUT-[E EH 

那么 条 件 订 

















FH] CP 是 有 





的 形式 为 : 





T， 结 点 (2) 才 为 IN。 这 个 证 实 表明 : 如 果 现 在 
F 燥 的 证 据 ， 那 么 天 气 很 潮湿 。 如 果 将 来 某 一 时 刻 昌 


L 
O 





Jy 
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民 干 燥 的 证 据 ， 即 

















TRU 

















相 容 的 信念 数据 





(CP 《结论 >》<IN- 假 设 > 《0UT- 假 设 >) 





- 结 点 ， 以 及 下 列 条 件 成 立 : 











的 每 个 结 点 都 是 IN- 结 点 ; 














效 的 。 











的 每 个 结 点 都 是 0UT- 结 点 。 


为 它 不 再 有 一 个 有 效 的 说 
的 OUT 结 点 表 的 SL 证 实 有 关 。0UT 结 点 (3) 是 结 点 (2) 之 证 实 
如 果 结 点 (3) 不 存在 ， 就 不 能 这 样 表 示 了 。 
在 真 值 维护 系统 中 ， 它 仅 禾 








FE 实 。 像 结 点 (2) 

















库 ， 真 值 维护 系统 本 身 并 














日 真 值 维护 系统 的 问题 求解 程序 提供 。 


(2. 20) 














般 说 来 ，0UT 


Pre: 
Se 


E 护 系统 要 求 假设 集 划 





段 设 总 是 


T3 





. AH 




















分 成 两 个 不 相交 的 子 集 ， 分 别 为 不 导致 矛盾 的 假设 和 导致 矛盾 的 假设 。 


的 结 点 为 0UT， 则 结论 结 点 为 IN 
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条 件 证 明 CP ffr 











F 实 表示 有 前 提 的 论点 。 一 
o FÆ A 
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要 在 TN- 假 设 中 
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真 值 维 护 系统 把 它们 转换 为 SL 证 实 来 处 理 。 


2， 默 认 假设 











令 {F， 
点 ， 即 由 G 引 起 在 (Fi, 
(SL(G) (Fi, eet, Fin, Fio cn 
而 选取 Fi 为 默认 假设 。 如 果 不 存在 任何 其 它 关 于 如 























EAR A iL 


y= 








上 头 








…， 忆 表示 所 有 可 能 的 候选 的 默认 假设 结 点 集 ，G 表示 选择 默认 假设 的 原因 
ees Fa} 中 进行 缺 省 选择 。 这 样 我 们 给 结 点 Node (Fi) 以 如 下 到 


; E) 
可 进行 选择 的 信 














i 效 。 处 至 


的 结 点 为 IN，0UT- 假 设 中 


ECP EK SL 更 难 。 事 实 上 ， 
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的 结 








EH: 
(2. 21) 
昌 ， 则 可 认为 除 已 之 外 其 





4 


任何 候选 都 不 是 可 信 的 。 这 样 Fi 为 IN, WE FG) BA 00T。 但 如 果 接 收 到 一 个 有 效 的 





E rr SCHR AR 























矛盾 ， 则 相关 性 加 





>I 




















识别 出 
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为 : 











(SL <Variousthings> <re 





minder>) 


其 中 reminder KIRKE Fi AF) ZORA RÆ UA <k4i, j<n). 


如 果 在 进行 默认 假设 选择 时 ， 候 选集 不 完整 ， 而 那些 当前 尚未 出 现 的 候选 肯定 会 在 以 后 
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其它 候选 户 ， 则 户 就 为 IN， 而 导致 的 假设 失败 而 变 为 00T。 如 果 从 假设 户 导 
漳 就 根据 对 其 它 为 OUT 的 候选 的 依赖 
Fi 变 为 00T， 而 选取 另外 一 个 候选 Ri。 这样 Fj 的 型 


Fi 为 一 缺 言 假设 ， 从 而 使 


(2. 22) 
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被 发 现 ， 则 上 述 方法 就 显得 无 能 为 力 。 对 此 ， 可 采用 下 面 的 方法 ， 它 能 逐渐 扩大 候选 集 。 



































保留 上 述 的 表示 方法 ， 令 Fi 为 表示 Fi 的 否定 的 新 结 点 。 如 果 在 当前 的 知识 库 中 不 能 证 明 
Fi， 则 认为 疡 是 可 信 的 ， 并 建立 适当 的 理由 使 得 如 果 FAN Fo WFR Fo BF F: h 








理 














设 ， 恢 复 一 致 性 。 它 包括 下 列 三 个 步骤 : 


集 ， 


而 Fi 的 






































。 这 样 就 必 保 证 F_i 的 理由 为 : 














(SL (G) (F)) (2. 23) 














一 组 理由 则 为 : 





(SL (F)) (j 半 i) (2. 24) 


























这 样 ， 如 果 没 有 充分 理由 必须 使 用 其 它 候选 ， 则 就 假设 Fi 为 一 信念 。 但 若 从 这 种 默认 假 
设 中 导出 矛盾 ， 则 说 明 Fi 的 假设 是 错误 的 ， 从 而 证 实 Fo dE Fi 结 点 为 IN- 结 点 。 户 绪 点 变 为 
0UT- 结 点 ， 这 时 就 必须 使 用 相关 性 回溯 来 检查 导致 矛盾 的 原因 ， 重 新 构造 新 的 默认 假设 。 





3. 相关 回 济 













































































TMS ”的 相关 回溯 是 在 知识 库 中 出 现 不 一 致 性 时 ， 寻 找 并 删除 已 做 的 一 个 不 正确 的 默认 假 
































(1) 从 产生 的 矛盾 结 点 开始 ， 回 溯 跟 踪 该 矛盾 结 点 的 理由 充足 的 支持 以 寻找 矛盾 的 假设 






































并 从 中 去 掉 至 少 一 个 假设 信念 以 消除 矛盾 。 这 个 过 程 首 先 收集 导致 矛盾 的 “ 极 大 ”假设 
集 。 所 谓 “ 极 大 ”假设 集 是 指 理由 充足 的 支持 关系 在 结 点 上 产生 一 个 自然 偏 序 。 如 果 结 点 
出 现在 结 点 M 的 理由 充足 的 支持 中 ， 那 么 结 点 N 比 结 点 M "oT. 而 “ 极 大 ”假设 集 则 是 在 
这 种 偏 序 关系 上 为 极 大 结 点 的 结 点 集 。 
























































































































































(2) 构造 一 个 结 点 记录 矛盾 产生 的 原因 。 这 一 步 根 据 第 一 步 收集 到 的 “ 极 大 ”假设 集 分 
































析 导 臻 矛盾 的 原因 。 设 S= {A1，…, a) 表示 不 一 致 假设 集 ， 则 回溯 过 程 生 成 一 个 称 为 nogood 的 








来 。 


用 下 面 的 理 





AA m 


结 点 ， 它 表示 为 : 


AA, > false 





或 等 价 地 USA, AMA (1) 
其 理由 为 : (CP 去 矛盾 结 点 > S <>) (2) 
这 样 即 使 在 去 掉 了 某 个 假设 从 而 消除 了 矛盾 之 后 ， 这 个 假设 集 的 不 一 致 性 仍 被 记录 了 下 










































































(3) 从 5S 中 选取 假设 Ai( 即 不 合理 假设 ) ,并 证 实 列 在 其 理由 充足 的 支持 条 件 中 的 一 个 0UT- 
结 点 。 令 NG 为 nogood 结 点 , s FJA, Do =o EBMER Ai 的 信念 的 理由 条 件 中 ， 则 使 









































条 件 











(SL (NG Ar c Aina Ain ot An) (D; See Dx) ) (3) 




















表 证 实 D， 从 而 使 上 的 理由 条 件 失 败 。 只 要 nogood 和 其 它 假设 是 可 信 的 ， 而 其 它 不 合理 假设 
的 否定 不 是 可 信 的 ， 那 么 理由 条 件 \3) 是 有 效 的 。 如 果 Ai: 选择 有 误 ， 则 在 以 后 就 会 产生 另 一 个 
包含 D, 的 矛盾 。 如 果 在 加 入 了 (3) 之 后 现行 矛盾 仍然 没有 消除 ， 则 重新 回溯 直到 发 现 矛 盾 消 除 


为 止 。 
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这 里 ， 以 找 一 个 时 间 安 排 一 次 会 议 为 例 ， 说 明 相关 回溯 的 的 工作 过 程 。 首 先 假设 日 期 为 
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星期 三 : 

(1) 会 议 日 期 为 星期 三 (SL 0) (2) ) 
(2) 会 议 日 期 不 应 是 星期 三 
目前 没有 相信 “会 议 日 期 不 应 是 星期 三 ” 的 证 实 ， 所 以 结 点 (1) 是 IN， 以 表示 会 议 日 期 为 星 
期 三 这 一 假设 。 根 据 与 会 者 的 时 间 ， 安 排 会 议 系 统 通过 推理 得 到 会 议 必须 在 2: 00 举行 的 结 
论 ， 这 是 根据 阁 干 结 点 得 到 的 。 这 样 ， 真 值 维护 系统 具有 如 下 知识 库 : 

(1) 会 议 日 期 为 星期 三 (GL () (2) ) 

(2) 会 议 日 期 不 应 是 星期 三 

(3) 会 议 时 间 为 14: 00 (SL (32, 40, 61) ()) 
接着 ， 安 排 会 议 的 程序 要 找 一 间 会 议 室 ， 结 果 发 现 星 期 三 下 午 两 点 钟 无 空 会 议 室 ， 于 是 产生 
下 一 个 结 点 通知 TMS: 

(4) 矛盾 (SL (1, 3 (D 

iN, VAS, AAR SL 的 证 实 表 中 的 结 点 ， 比 如 说 A…A， 然 后 向 后 跟 
踪 ， 通 过 A; 的 SL 证 实 中 的 结 点 ， 比 如 说 Bl … B.， 再 回 到 B 的 SL 证 实 中 的 结 点 ， 寻 找 假设 。 
试图 找到 这 样 一 个 假设 集 ， 只 要 删除 该 集中 的 某 个 假设 ， 则 矛盾 就 可 消除 。 在 此 例 中 ， 这 个 
集 只 包含 一 个 元 素 ， 即 结 点 (1) 。 回 淹 机 制 通过 产生 一 个 不 相 容 结 点 来 记录 它 。 

(5 不 相 容 (CP 4 (1, 3) ()) 

现在 真 值 维护 系统 选择 不 相 容 假设 中 的 一 个 ， 即 结 点 (1) ， 使 它 的 OUT 表 中 的 一 个 结 点 变 
为 IN 来 使 结 点 (1) 变 为 00T。 于 是 有 : 

(2) 会 议 日 期 不 应 是 星期 三 (SL (5 ()) 

结 点 (2) 与 结 点 (5) 为 IN, 就 引起 结 点 (1) 为 0UT, 因为 结 点 (1) 的 证 实 依赖 于 结 点 (2) 是 0UT。 
结 点 (4) 现在 也 变 成 00UT。 这 样 一 来 ， 矛 盾 就 消除 了 ， 可 选择 一 个 新 的 日 期 。 由 于 矛盾 中 不 包 
含 时 间 ， 所 以 会 议 时 间 仍 为 2，00 不 变 。 

Doyle 在 他 的 文章 里 探讨 了 这 种 非 单调 推理 的 形式 化 和 理论 问题 。de Kleer 分 析 了 这 种 
系统 的 不 足 之 处 ， 并 设计 了 基于 假设 的 真 值 维护 系统 称 为 ATMS (assumption-based TMS) [de 
Kleer 1986] 。 该 系统 允许 各 种 互相 对 立 的 假设 和 信念 同时 存在 ， 克 服 了 真 值 维护 系统 的 一 些 
重要 缺点 。 

ATMS 由 两 部 分 组 成 ， 一 个 问题 求解 器 ， 一 个 TMS。 前 者 包含 了 领域 的 所 有 知识 和 推理 过 
程 ， 每 个 推理 结果 都 传送 给 TMS. TMS 的 工作 则 是 在 目前 给 定 的 理由 条 件 下 判断 哪些 知识 是 可 
信 的 ， 哪 些 是 不 可 信 的 。 问 题 求解 器 向 ATMS 每 次 提供 一 个 理由 条 件 和 假设 , aTMS 构造 一 个 直 
接 的 数据 结构 进行 快速 的 相 容 性 检查 。TMS 在 每 一 时 刻 只 能 处 理 一 组 假设 ， 而 ATMS 考虑 假设 
集合 。ATMS 论证 规则 的 形式 为 : 
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Ai, az, *,8& = D 
表示 : di Ai, aa, ot, an PPL, MDINA. HP, av az，…, an 称 为 前 提 ， 它 们 构成 的 集合 称 
为 论据 ，D 称 为 结论 。 前 提 和 结论 都 是 结 点 ， 但 都 不 能 是 恒 假 结 点 ， 不 许 带 “ 非 ” PPS. HB 











= 
Bi 
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提 为 空 时 规则 成 为 : 


表示 D 不 依赖 于 任何 前 提 而 成 立 ， 即 为 恒 
这 里 略 去 ATMS 的 详细 讨论 ， 读 者 可 参阅 


限于 篇 幅 ， 








在 数据 库 开 
采取 的 一 些 操作 





=> D 


Rh 


AS AN 
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在 计算 机 科学 的 许多 领域 ,“ 动 作 ”( 或 称 为 行为 、 操 作 等 等 ) 是 一 个 基本 的 概念 。 例 
论 中 ， 对 数据 记录 的 “删除 “插入 ”以 及 “修改 ”等 等 就 是 人 们 对 数据 库 经 常 
作对 数据 库 来 说 无 疑 是 最 基本 的 T 





(动作 )。 这 些 操 














智能 


分 布 式 人 工 





来 相互 沟通 和 相互 影 





zs 
具有 多 个 自主 的 主体 的 系统 


ANI; TES ERR 
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Ro FERC ANY 











修改 等 问题 都 是 很 关键 








ZU 

















据 库 








主体 的 信念 都 产生 一 定 日 
所 谓 数据 库 的 进化 和 3 























对 数据 的 某 种 操作 以 及 多 3 
日， 其 结果 就 是 数据 库 的 更 新 和 主 

















FE 体 系统 




















URH 
FE 体 知识 和 信念 的 进化 。 











TRAN 





究 涉 及 动作 和 进化 等 概念 的 问题 ， 对 了 








算是 分 析 处 理 和 和 
Ab 
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把 情景 

















一 做 法 的 核心 是 : 
所 产生 的 效果 这 7 
三 种 个 体 





类 型 


"f| 
然后 
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E 论 基础 [Lin 1994]. 

















H 


究 涉 及 动作 和 进化 问题 的 最 常用 的 形式 工具 。 在 一 般 的 利 
涉及 动作 和 进化 概念 的 文献 中 ， 大 量 的 分 析 处 理 是 建立 召 
上 的 。Reiter 和 林 方 真 以 数据 库 理 
演算 的 概念 和 方法 在 这 利 
究 提供 一 个 坚实 的 系统 的 到 


建立 了 一 个 多 类 逻辑 (我 们 称 之 为 LR)，j 
特殊 的 多 类 一 阶 
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有 关 文 献 。 














情景 演算 的 逻辑 基础 





如 











j.H 





[也 是 最 重要 的 。 再 如 在 
过 它们 的 各 式 行 为 〈 动 作 ) 


Ao 
JEI 














中 ， 主 体 之 间 

















"， 一 个 重要 的 研究 方向 就 是 研究 主体 的 知识 和 信 
“行为 ”的 概念 是 最 基本 的 ， 它 对 于 下 
和 4。 与 “动作 ”的 概念 相伴 随 的 是 所 谓 “ 进 化 ”的 概念 。 对 于 诸 和 
" 某 个 主体 的 一 个 行为 这 样 的 动作 ， 对 于 数据 库 和 

















究 主体 知识 和 信念 的 获得 以 及 


TEA 
































体 知识 和 信念 的 修改 ， 也 就 是 























F 计 算 机 科学 具有 普遍 的 





EE 要 意义 。 情 景 演 
情景 演算 分 析 
算 的 直观 理解 的 意义 
FH 






































EXT SES 

















逻辑 的 机 述 ， 以 便 为 有 关 的 研 
把 情景 演算 集成 在 一 个 多 类 逻辑 框架 里 ， 这 





EZ 





内 进行 






























































为 了 刻 划一 个 动作 ， 只 需 





述 动作 发 生 的 条 件 和 动作 发 生 以 后 对 其 环境 











Ea 
sz 














F 事 。 为 此 ， 在 逻辑 框架 LR H 
系列 日 














通过 
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VEES RH 
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的 语义 。 这 





EE 分析 了 所 谓 的 极 小 动作 理论 ， 





里 着 














化 的 概念 ， 
的 名 


ZH 














论 。 




















并 结合 数理 逻辑 的 有 关 方 法 得 到 了 一 些 关 于 极 小 动作 到 
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At T5 sc REC RE DE Ru 





FP 引 入 了 “动作 ”，“ 状 态 ” 和 “一 般 对 象 ”这 


的 多 辑 句 子 来 表述 这 三 种 对 象 的 最 一 般 关 系 以 及 动作 发 生 的 
前 提 和 后 果 。 每 个 这 样 的 句子 集 被 称 为 一 个 基本 的 动作 到 
的 “动作 的 基本 理论 ”就 是 在 特 多 
我 们 在 对 LR 进行 分 析 的 基础 上 建立 了 一 个 多 类 逻辑 ， 作 为 描述 动作 的 框架 1 
为 了 使 动作 的 概念 得 到 恰当 的 描述 ， 我 们 不 把 动作 当 作 为 一 种 
一 类 函数 加 以 处 理 。 这 样 做 既 符合 对 于 动作 的 直观 理解 同时 又 使 得 它 在 逻辑 框架 里 





论 。 从 纯粹 逻辑 学 的 观点 看 ， 所 谓 
的 普通 逻辑 学 意义 下 的 一 个 理 


























论 。 
局 家 1997]. 
而 是 把 它 作为 
具有 清晰 
给 出 了 其 模型 的 直观 表示 ， 定 义 和 分 析 了 进 
论 的 进化 的 可 定义 性 方 


























个体 类 型 对 待 
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有 重要 的 价值 。 由 于 一 般 多 类 逻辑 的 类 型 之 间 缺 乏 明 确 的 直观 意义 ， 一 般 地 ， 罗 辑 学 家 们 认 
为 ， 可 以 通过 引入 若干 一 元 谓词 的 方法 把 多 类 逻辑 的 研究 归结 为 经 典 一 阶 逻 辑 的 研究 。 
















































































2.10.1 刻 划 情 景 演算 的 多 类 逻辑 





LR 被 定义 成 一 种 多 类 风 辑 ， 在 其 形式 语言 多 中 引入 了 三 种 关于 个 体 的 类 型 ， 即 状态 类 型 











s、 对 和 象 类 型 o 和 动作 类 型 a, 一 个 类 型 为 s 的 常量 符号 So (表示 起 始 状 态 ), 一 个 类 型 为 <a, s; 
s> 的 二 元 函数 符号 do (描述 一 个 动作 的 发 生 使 得 状态 从 一 个 变 成 男 外 一 个 ), 一 个 类 型 为 《a, s? 
的 二 元 关系 符号 Poss (表示 一 个 动作 在 一 个 状态 之 下 是 可 能 发 生 的 )， 和 一 个 类 型 为 Cs, s> 的 
二 元 关系 符号 《< (表示 状态 之 间 的 先后 关系 )。 





























中 的 函数 符号 如 果 其 自 变 量 和 因 变 量 的 类 型 均 为 o， 则 称 该 函数 符号 是 独立 于 状态 的 函数 符 
号 ; 站 中 的 关系 符号 如 果 其 参数 的 类 型 有 且 仪 有 一 个 是 s， 而 其 余 的 类 型 均 为 o， 则 称 该 关系 






































符号 是 一 个 动态 关系 。LR BRE L 由 有 限 多 个 常量 符号 、 状 态 独立 的 关系 符号 和 函数 符号 、 有 
限 多 个 动态 关系 符号 以 及 上 段 特 别 列 出 来 的 形式 符号 构成 。 

LR 中 的 语法 概念 如 项 、 原 子 公 式 及 公式 等 模仿 一 般 多 类 风 辑 的 类 似 定义 。 依 照 习惯 ， 多 
也 表示 此 时 所 有 一 阶 多 类 逻辑 公式 的 集合 。 


给 定 一 个 状态 类 型 的 项 st， 定 义 奖 :. 和光 如 下 : 
































多 :中 的 公式 是 X 中 公式 的 一 个 子 集 ， 其 每 个 成 员 中 除 st 外 不 包含 其 它 类 型 为 s 的 项 ， 


不 对 状态 变 元 使 用 量词 ， 不 包含 关系 符号 Poss 和 <。 形 式 地 它 是 满足 以 下 条 件 的 最 小 的 公式 
集 : 





























(1) WR e 交 不 含有 任何 状态 类 型 的 项 ， 那 么 y e Las 
(2) 对 于 每 个 有 n 个 操作 对 象 的 动态 关系 下 以 及 类 型 o 的 项 xy ott, Xn» F(x, ns xs st)e 








(3) WR wb, pela, MARA, WAP, Wo, p>), vep, Vx, Ix, Vay 
































E Jaw SES T Li, XE x, a 分 别 具 有 类 型 Alla. 














Loe 定义 为 满足 以 下 条 件 的 最 小 公式 集 : 





(1) Le Cc fag 
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(2) 对 于 每 个 类 型 o 的 论 域 上 的 mn 元 的 谓词 变 元 p， 以 及 类 型 为 o 的 项 X px) es 





(3) MR wb, pels’, 那么 就 有 -中 Wag, Wp, qw. DOG, Vp, Ipp, Vx 中， 














3x 中 ，Va 中 以 及 习 a 由 都 属于 Lo XE x, a 分 别 具 有 类 型 o Ala, p 是 类 型 o 的 论 域 上 的 的 


谓词 变 元 。 




















2. 10.2 LR 中 的 基本 动作 理论 














在 LR 中， 一 个 基本 的 动作 理论 D 就 是 一 个 如 下 的 一 组 句子 : 
D-X U Ds U D, U Dm U Do (2. 25) 





其 中 
(1) 二 是 一 组 逻辑 公式 。 它 的 直观 含义 是 说 所 有 类 型 为 s 的 个 体 在 二 元 关系 < 之 下 构成 一 
个 分 叉 的 时 序 结构 ， 在 其 中 S 是 起 点 ， 而 do 是 后 继 函 数 。 而 且 所 谓 的 树 型 归纳 法 也 包含 在 其 
中 。 具 体 地 它 包含 如 下 的 公理 : 
So ~ do(a, s); 
































do(ai, si) = do (as, sz — (aicas 人 Si=sa); 

V PL(P(SoA V a, s (P(s) +P (do (a, s)))) > Vs P(s)); 

一 (s< So); 

s € do(a,s’) € (Poss(a, s) A s< s'). 

(2) D;: 是 一 组 逻辑 公式 。 它 们 描述 了 一 个 类 型 为 a 的 个 体 按 一 定 的 规则 被 执行 以 后 所 产 
生 的 效果 。 一 般 地 ， 其 中 的 公式 具有 以 下 的 形状 : 



































Poss (a, s) > (F(x, do(a, s)) > wir, a, s)) (2. 26) 

















这 里 F 是 一 个 动态 关系 符号 而 ye 是 多 ,中 的 一 个 逻辑 公式 。 


(3 Dw 是 一 组 逻辑 公式 。 它 们 描述 了 一 个 类 型 为 a 的 个 体能 够 按 一 定 的 规则 被 执行 的 前 
提 条 件 。 它 们 一 般 具 有 以 下 的 形状 : 






































Poss(A(x,s) >t,(x,s)) (2. 27) 























这 里 A 是 的 一 个 动作 常量 ， 而 ade E s PAY MEAT 


(4) Dw 是 表达 以 下 意义 的 逻辑 公式 两 个 动作 常量 在 两 组 类 型 为 o 的 个 体 上 执行 的 结果 
是 不 同 的 ， 除 非 它们 分 别 是 同一 个 动作 以 及 同一 个 个 体 对 象 的 序列 。 它 们 具有 如 下 的 形状 : 























A(x) z N (O); 


A(x) = A(y) > (x=y). 














(5) Ds 是 一 组 有 限 的 zs 中 的 逻辑 公式 。 称 为 基本 动作 理论 的 初始 条 件 。 
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2.11 框架 问题 








当 我 们 试图 用 形式 逻辑 的 方法 表示 动作 或 事件 的 影响 的 时 候 ， 困 难 之 一 就 是 框架 问题 。 
如 前 面 所 述 ， 框 架 问 题 就 是 如 何 表示 和 推演 出 那些 在 动作 执行 后 不 会 发 生 改变 的 性 质 或 事实 。 
该 问题 最 早 由 McCarthy 和 Hayes 提出 。 当 某 个 动作 执行 或 者 某 个 事件 发 生 时 ， 如 果 我 们 使 用 
古典 逻辑 来 描述 什么 发 生 了 变化 ， 我 们 也 必须 描述 什么 没有 发 生变 化 。 和 否则 ， 我 们 使 用 这 些 
述 得 不 到 任何 有 用 的 结论 。 

当 使 用 一 阶 逻辑 来 描述 动作 的 影响 时 ， 则 没有 发 生变 化 情况 的 描述 要 远 远大 于 发 生 了 变 
化 情况 的 描述 。 当 我 们 描述 动作 的 影响 时 ， 我 们 应 该 能 够 关注 于 什么 发 生 了 变化 ， 也 能 够 想 
到 什么 没有 发 生变 化 。 因 此 所 谓 框架 问题 就 是 建立 一 个 形式 系统 来 处 理 上 述 情况 的 问题 。 























































































































































































































































































































2.11.1 框架 公理 























虽然 从 AAz 中 可 以 得 到 很 多 的 结论 ， 但 是 仍然 有 一 些 我 们 希望 的 结果 无 法 得 到 。 例 如 ,在 
S0 中 ，B 在 C 的 上 面 , 移动 A 到 D 并 没有 改变 这 个 事实 ， 但 是 我 们 并 没有 ; 
Az |= Holds(On(B, C), Result(Move( A, D), S0)) 
也 就 是 说 ， 我 们 可 以 得 到 一 个 动作 作用 后 ， 什 么 发 生 了 改变 ， 但 是 并 不 能 得 到 什么 没有 
发 生 改变 。 一 般 来 说 ， 动 作 只 是 具有 “局 部 的 ”影响 ， 很 多 的 流 并 没有 发 生 改变 。 为 了 对 那 
些 没有 受到 动作 的 影响 ， 持 续 不 变 的 流 进行 推理 ， 需 要 为 每 个 流 和 动作 增加 一 些 框 架 公理 。 
例如 ， 对 流 On， 有 框架 公理 : 
Holds(On w), Result(Move(x, y), s)) € Holds(On(y, w), s) ^ xzv 
该 框架 公理 是 说 ， 在 移动 x 到 y 上 之 前 , v 是 在 w 上 ， 则 移动 以 后 v 仍然 在 w 之 上 (只 要 v 不 
是 被 移动 的 积木 )。 这 样 ， 加 上 A 就 可 以 得 到 Holds(On(B, C), Result(Move( A, D), S0))。 对 于 流 
Clear， 具 有 类 似 的 框架 公理 : 
Holds(Clear(x), Result(Move(y, z), s)) € Holds(Clear(x), s) ^ x#z 
下 面向 积木 世界 中 增加 一 个 新 的 动作 和 新 的 流 。 
。  Color(x c): 表示 积木 x 具有 颜色 e 这 一 事实 。 
。 Paint, c) 表示 在 积木 x 上 涂 上 颜色 c 这 一 动作 。 因 为 涂 色 总 能 够 成 功 ， 因 此 
没有 前 提 条 件 。 
这 样 在 A 中 又 会 增加 下 面 的 公式 : 
Holds(Color(x, c), Result(Paint(x, c), s)) 
假设 情景 SO 的 描述 和 > 中 是 一 样 的 ， 只 是 所 有 的 积木 都 是 红色 的 : 
Holds(Color(x, Red), SO) 
AA’ FL? 4) Hl BEAN HT LY ID ALT SO 描述 。 移 动 一 个 积木 并 不 会 改变 该 积木 的 颜 
并 且 如 果 没 有 其 他 的 公理 就 无 法 得 到 下 面 的 结论 
A' AZ |= Holds(Color(A, Red), Result(Move( A, D), S0)) 
因此 需要 增加 下 面 两 个 公理 : 积木 的 颜色 在 移动 动作 下 保持 不 变 ， 积 木 的 颜色 不 受 其 他 
是 否 涂 色 的 影响 。 
Holds(Color(x, c), Result(Move(y, z), s)) € Holds(Color(x ,c), s) 
Holds(Color(x, c1), Result(Paint(y, c2), s)) < Holds(Color(x ,c/), s) ^ x zy 
除了 上 面 的 公理 外 ， 动 作 Paint 也 不 会 对 On 和 Clear 流产 生 影 响 ; 
Holds(On(x, y), Result(Paint(z, c), s )) € Holds(On(x ,y), s) 
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Holds(Clear(x), Result(Paint(y, c), s)) € Holds(Clear(x), s) 


至 此 ， 我 们 得 到 了 一 个 由 
如 果 状 态 由 一 个 不 影响 属性 的 动作 改变 ， 那 么 这 个 属 怕 

















九 个 公式 和 六 个 框架 公理 组 成 的 域 描述 。 框 架 公理 被 用 来 证 
保持 不 变 。 一 般 来 说 ， 大 多 数 动作 不 

















明 








会 对 大 多 数 流产 生 影响 ， 每 次 增加 一 个 新 的 流 都 需要 增加 和 域 中 动作 数 大 致 一 样 多 的 新 的 杠 





RAE 








， 并 且 每 次 增 力 














H 























这 样 








用 它们 对 关于 











公 








法 来 表示 框架 














情景 演算 的 方式 来 表达 动作 如 
有 人 束 如 何 减少 大 量 的 框架 公开 


一 个 新 的 动作 ， 都 需要 增加 和 域 9 
或 者 说 , 在 一 个 域 中 , 如 果 有 个 流 和 m 个 动作 , 则 总 的 框架 公 3 








FP 流 的 数量 大 致 一 样 多 的 框架 公理 。 























在 几 个 动作 序列 上 什么 流 不 会 改变 的 
在 古典 、 一 阶 逻 辑 中 ， 在 不 对 情景 演算 做 大 的 改变 的 情 
理 中 的 信息 。 例 如 ， 前 面 所 给 日 








何 改变 世界 就 会 变 得 很 难 管理 。 
E 数 进行 了 研究 。 问 题 是 即 





理 的 计算 
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LE 





数 为 : nxm[Shanahan 1997], 

















公理 ， 
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FR 











KIH 





ze 





使 能 够 减少 大 











况 下 ， 也 可 以 找到 一 种 


万 然 是 举重 的 。 


fes od 


简 洛 的 方 





的 框架 公理 














Holds(f, Result(a, s)) € Holds(f, s) A II 





示 上 述 的 框架 公理 形式 : 
Holds(f, Result(a, s)) € Holds(f, s) ^ — Affects(a, f, s) 











XXFÉ, AYRES EUH WHER AR 

















中 了 是 一 个 流 ，a ANSI, IANS. RE BEET DUR TH 


E， 需 要 增加 一 个 负 原 子 Affects。 例 如 对 于 积 


— Affects(Move(x, y), On(v, w), s) € x zv 
= Affects(Paint(z, c), On(x, y), s) 
— Affects(Move(y, z), Clear(x), s) €& x zz 
— Affects(Paint(y, c), Clear(x), s) 

— Affects(Move(y, z), Color(x, c), s) 
— Affects(Paint(y, c2), Color(x, cl), s) € x 2v 


根据 这 些 公理 ， 可 以 推 
洁 了 一 些 ， 但 是 现在 的 主要 问 








减少 公理 的 数量 。 














EH N 























题 








Affects(a, On(x, z), s) > a = Move(x, y) 


Affects(a , Clear(x), s) > a = Move(x, y) 





Affects(a , Color(x, c2), s) > a = Paint(x, c1) 











都 有 如 下 的 形式 : 











9 的 通用 框架 公理 表 



































世界 ， A: 





8 和 前 面 一 样 的 结论 。 虽 然 每 个 公理 比 前 面 给 出 的 公理 形式 上 简 



































是 公理 的 数量 问题 。 如 果 再 对 上 述 公理 进行 整理 ， 则 还 可 以 











上 述 这 些 公 理 就 是 所 谓 的 解释 闭 包 公理 (explanation closure axioms )。 解 释 闭 包公 理 是 框 
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2.11.2 框 染 问题 解决 方案 的 准则 























是 框架 问题 所 要 和 
案 可 接受 的 准则 ? 
e 表示 的 简洁 性 
e ”表达 的 灵活 怕 
e ”精细 的 容错 怕 




















在 [Shanahan 








E (representational parsimony ) 


E (expressive flexibility ) 





E Celaboration tolerance) 





对 于 表示 的 简洁 性 ， 这 是 框架 问题 的 本 质 ， 它 是 说 对 动作 影响 的 表示 应 该 
个 可 行 的 方案 是 表示 的 大 小 大 臻 是 和 论 域 复杂 程 
度 成 正比 ， 论 域 复杂 度 一 个 比较 好 的 指标 是 动作 的 总 数量 加 上 流 的 总 数量 。 
一 个 有 效 的 框架 问题 解决 方法 需要 能 够 应 用 于 广泛 的 涉及 表示 的 问题 ， 


于 无 法 对 
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该 简洁 











理 的 代 换 ， 但 是 更 加 地 简洁 。 它 们 构成 了 框架 问题 的 单调 解决 方案 的 基础 。 
































怎样 以 一 种 形式 化 的 、 逻 和 辑 的 方法 表示 动作 的 影响 ， 而 不 用 写 出 所 有 的 杠 
A 究 的 问题 。 这 里 我 们 需要 考虑 :对 框架 问题 的 一 个 解决 方案 ， 


1997] 中 ， 作 者 给 出 了 三 个 准则 : 





理 ? 这 就 
是 该 方 

















EL A vd 
7E IRI YA 


的 。 由 











生 给 出 准 








的 量化 ， 
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0000 








对 于 一 个 复杂 的 














领域 ， 简 洁 的 表示 方法 还 有 很 多 问题 需要 解决 ， 因 此 框架 解决 方案 还 需要 满足 第 二 个 准则 : 
表达 的 灵活 性 。 这 里 复杂 的 领域 并 不 仅仅 是 说 有 更 多 数量 的 动作 和 流 ， 更 主要 的 是 指 这 些 领 
域 有 其 特殊 的 性 质 ， 在 表示 它们 之 前 可 能 需要 进行 深入 地 思考 和 研究 。 例 如 ， 它 们 可 能 具有 
















































































下 面 的 特性 : 
e 分 枝 (ramification) 
e 并 发 动作 
e 非 确定 动作 
e 连续 动作 
如 果 我 们 考虑 领域 的 限制 的 话 ， 一 个 动作 除了 它 的 直接 影响 外 ， 还 有 一 些 分 枝 。 领 域 的 








限制 《有 时 称 为 状态 限制 ) 是 指 在 同一 情景 下 流 的 什么 样 的 组 合 可 以 保持 不 变 。 例 如 ， 我 们 
只 有 三 个 积木 ， 一 个 放置 在 男 一 个 上 面 。 令 流 Stack, y z) 表 示 积 木 x、y、z 为 一 个 堆 。 可 以 
GT On. Clear. Color 一 样 给 出 流 的 效应 公理 ， 不 过 这 里 用 下 面 的 公式 通过 领域 限制 来 表 
示 堆 的 效应 公理 : 

Holds(Stack(x, y, z), s)€& x #Table ^ Holds(On(y, x), s) AHolds(On(z, y), s) 

在 我 们 至 今 所 考虑 的 积木 世界 的 例子 中 ， 没 有 出 现 过 两 个 动作 同时 执行 的 情况 。 实 际 上 
并 发 的 动作 或 事件 每 天 都 在 发 生 。 例 如 当 有 多 个 人 来 移动 积木 的 时 候 ， 就 会 有 同时 发 生 的 动 
作 。 使 框架 问题 难于 处 理 的 另 一 个 复杂 领域 特性 是 非 确定 性 动作 或 动作 的 影响 并 不 完全 知道 。 

杂 领 域 的 再 一 个 特性 是 连续 动作 的 发 生 。 显 然 ， 连 续 动作 也 是 到 处 存在 的 ， 如 行进 中 的 汽 
车 、 填 充 容器 等 等 。 积 木 世 界 的 情景 演算 表示 目前 为 止 都 是 离散 的 。 这 样 表示 并 不 是 说 所 表 
示 出 的 改变 都 是 离散 的 ， 而 是 便于 抽象 。 然 而 ， 用 离散 的 方法 进行 抽象 并 不 总 是 合适 的 ， 有 
的 领域 中 有 些 量 的 连续 变化 是 其 很 重要 的 特性 ， 需 要 用 连续 的 方法 进行 表示 。 连 续 变 化 在 情 
景 演算 中 非常 难于 表示 ， 这 是 研究 事件 演算 的 动机 之 一 。 在 事件 演算 中 ， 无 需 太 多 的 困难 就 
可 以 表示 连续 的 动作 。 

最 后 一 个 评价 准则 是 精细 的 可 接受 程度 。 一 个 表示 是 精细 可 接受 的 ， 是 指 当 疝 表示 中 增 
加 新 的 信息 的 时 候 ， 所 付出 的 努力 是 和 信息 的 复杂 程度 成 正比 的 。 如 果 扩 充 一 个 情景 演算 理 
论 ， 增 加 一 个 动作 时 会 影响 到 n 个 流 ， 可 能 会 需要 增加 n 个 句子 ， 但 是 这 并 不 需要 完全 地 重 
新 构造 原 有 的 理论 。 受 新 的 动作 所 影响 的 事实 需要 逐渐 地 加 入 到 原 有 的 理论 中 。 

但 是 对 于 一 个 动作 具有 分 枝 等 性 质 的 领域 来 说 ， 仅 仅 简 单 地 扩充 解释 闭 包 公理 是 不 够 的 ， 
需要 重新 地 构造 ， 对 原 有 系统 做 大 的 改进 。 在 单调 性 机 制 下 重新 构造 解释 闭 包公 理 以 融合 新 
的 动作 和 流 是 很 困难 的 ， 需 要 有 大 量 的 计算 。 因 此 ， 如 果 我 们 在 单调 性 领域 中 处 理 框架 问题 ， 
看 来 是 无 法 满足 精细 程度 的 要 求 ， 因 此 可 以 说 无 法 用 单调 的 方法 来 处 理 框 架 的 问题 。 其 根本 
原因 就 是 单调 性 机 制 下 必须 以 框架 公理 或 解释 闭 包 公理 的 形式 对 动作 执行 后 没有 发 生变 化 的 
性 质 给 出 “ 显 式 ”的 描述 。 为 解决 这 一 问题 ， 人 工 智 能 研究 者 提出 了 非 单 调 推理 机 制 ， 其 ， 
最 常用 的 推理 机 制 包括 McCarthy 的 限制 理论 和 Reiter 缺 省 逻辑 。 可 以 说 ， 框 架 问 题 的 研究 是 
促使 进行 非 单调 推理 研究 的 动力 之 一 。 用 非 单调 机 制 解决 框架 问题 的 核心 思想 在 于 形式 化 地 
刻画 如 下 一 条 常识 性 原则 : 惯性 原则 Claw of inertia)， 即 在 典型 的 情况 下 ， 一 个 性 质 在 动作 执 
行 后 不 发 生变 化 的 。 
在 大 多 数 情 况 下 ， 人 们 一 般 只 是 写 出 效应 公理 ， 而 对 于 其 他 情况 会 缺 省 地 认为 “没有 发 
生 改 变 ” 然后 借助 某 些 非 单 调 机 制 来 推出 结论 。 从 二 十 世纪 八 十 年 代 早 期 以 来 ， 已 丝 有 了 一 
些 非 单调 机 制 用 来 处 理 这 种 问题 ， 最 常用 的 有 限制 理论 和 缺 省 逻辑 。 另 外 ， 如 果 语 义 定 义 的 
合适 的 话 ， 逻 辑 程序 设计 的 否定 看 作 失 败 也 可 以 用 来 处 理 这 种 问题 。 



















































































































































































































































































































































































































































































































































































































































































































































































































































































































































































ww ai bbt. com [1 HB DL O D D] 


2.11.3 框架 问题 的 非 单调 解决 方案 


最 先 用 非 单 调 机 制 解 决 框架 问题 的 是 McCarthy， 他 提出 了 著名 的 限制 理论 ， 并 尝试 用 限 
制 理论 来 解决 框架 问题 。 限 制 理论 能 够 说 明 一 些 谓词 的 扩展 是 最 小 的 。 例 如 从 公式 集 厂 可 以 
推出 P(A) BÆRT A 外 ， 对 其 他 所 有 的 x， 我 们 并 不 能 证 明 P(x) 或 者 -P(x)。 这 是 由 于 /最 
小 化 P 的 限制 ， 记 作 CIRC[T; P]， 即 对 所 有 的 x， 除 非 矿 说 明 P(x) 为 真 ， 否 则 都 为 假 。 例 如 ， 
从 CIRCIT; P] 可 以 得 到 一 P(B)。 
显然 使 用 限制 理论 解决 框架 问题 的 方法 是 最 小 化 谓词 Affects. 这 就 是 McCarthy 所 建议 的 
方法 ， 不 过 他 定义 的 是 谓词 Ab 而 不 是 Affects。 但 是 最 小 化 Affects 会 产生 违背 直觉 的 结果 。 
最 著名 的 例子 就 是 所 谓 的 耶鲁 射击 (Yale Shooting) 问题 。 

根据 McCarthy 和 Hayes 以 及 Sandewall 的 观点 : 解决 框架 问题 的 关键 是 对 惯性 原则 的 形 
式 化 ， 惯 性 原则 是 指 : 

THER IEE HY, BUER EH 

对 惯性 原则 的 形式 化 包含 对 下 面 缺 省 规则 的 形式 化 。 

TENG FS XNITIEBISITE KAH) MEH SHEJEANZOM GRA) GEM o 

考虑 前 面 提 到 的 通用 框架 公理 ， 由 于 有 了 负 信 息 ， 因 此 框架 公理 需要 考虑 到 负 和 正 的 信 
息 的 不 变性 。 即 通用 框架 公理 应 该 表示 一 个 流 应 该 具有 和 动作 执行 前 一 样 的 值 〈 正 或 负 )， 除 
非 动作 影响 到 了 流 ， 即 该 公理 是 说 如 果 一 个 动作 没有 影响 到 流 ， 则 在 该 动作 执行 前 后 ， 该 流 
不 变 。 









































































































































































































































































































































































































































F1: [Holds(f Result(a, s)) +> Holds(f s)]€ — Affects(a, f, s) (2.28) 
这 样 就 留 给 了 我 们 复杂 的 工作 : 准确 地 说 明 哪 个 流 没 有 受到 哪个 动作 的 影响 。 这 也 是 杠 
架 问 题 的 本 质 。 
] McCarthy 建议 的 Ab 谓词 代替 Affects 得 到 : 
F2: [Holds(f, Result(a, s)) <> Holds(f, s)]& — Ab(a, f, s) (2.29) 
段 设 ， 用 > 表示 效应 公理 、 领 域 限制 和 观察 到 的 句子 的 总 和 。 扩 充 以 包含 惯性 原理 的 简 









































单方 式 是 结合 (F2) 然后 限制 它 , 极 小 化 Ab 并 允许 Holds 变化 。 换 名 话说 , 研究 CIRC[ZA(F2); 
Ab ; Holds]。 

极 小 化 Ab 并 允许 Holds 变化 的 限制 策略 看 来 似乎 能 够 解决 框架 问题 。 然 而 ，McDermott 
和 Hanks 在 1968 年 的 工作 表明 ， 极 小 化 Ab 并 允许 Holds 变化 这 种 方法 即使 对 于 非常 简单 的 
例子 可 能 也 得 不 到 我 们 所 需要 的 结论 。 他 们 把 这 种 困难 用 一 个 简单 的 例子 来 说 明 ， 这 就 是 著 
名 的 耶鲁 射击 问题 。 
在 耶鲁 射击 问题 中 ， 某 人 被 一 枪 打 死 了 。McDermott 和 Hanks 的 形式 化 包含 
B ”三 个 动作 : Load. Wait 和 Shoot. 
B Wii: Alive, Loaded. 








































































































































































































m 两 个 效应 公理 : Load 动作 往 枪 里 填 装 了 子弹 ， 只 要 枪 里 有 子弹 ， 在 Shoot 动作 
后 ， 受 害 人 死 了 。 
Y1: Holds(Loaded, Result(Load, s)) (2.30) 
Y2: -—Holds(Alive, Result(Shoot, s)) < Holds( Loaded, s) (2.31) 
W 另外 还 有 两 个 观察 到 的 句子 : 在 开始 受害 人 是 活着 的 ; 检 是 没有 子弹 的 。 
X3: Hold(Alive, SO) (2.32) 
Y4: | ^Holds(Loaded, S0) (2.33) 























下 面 首先 定义 一 个 谓词 : UNA， 表 示 名 字 的 唯一 性 Cuniqueness-of-name). 
UNA({fI, f2, ... fk |: 
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对 所 有 的 i<j<k: fi(xl, x2, 



































. xm) #fi(yl, y2,...,yn), OH 


对 所 有 的 i<k: fi(xl, x2, .., xn) = fi(yl, y2, ..., yn) > [x1 oylAx29y24...^xn-yn] 


这 样 ， 我 们 有 : 
Y5: UNA[ Load, Wait, Shoot] (2.34) 
Y6: UNA([Alive, Loaded] (2.35) 
Y7: UNA[SO, Result] (2.36) 





现在 考虑 动作 序列 Load. Wait, Shoot 之 后 的 情景 会 是 什么 ， 或 者 说 情景 Result(Shoot， 
Result(Wait, Result(Load, S0)) 会 是 什么 。 如 果 将 限制 策略 应 用 于 这 些 公 式 ， 哪 些 流 会 成 立 呢 ? 



































直觉 上 看 , 在 Load 动作 之 后 , 枪 里 有 
由 于 枪 里 有 子弹 ， 因 此 在 Shoot 动作 
的 限制 可 以 得 到 下 面 的 结论 : 















































Hu 








了 子弹 , 在 Wait 动作 之 后 , 枪 里 还 是 有 子弹 ,， 即 Loaded, 


























之 后 ， 受 害 人 就 死 了 。 因 此 我 们 希望 由 (Y1) 














一 Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))) [2.37 














但 是 [2.37] 并 不 能 从 这 些 限制 中 


tH. 








命题 2.1 (Hanks-McDermott 问题 ) 如 


CIRC[ZA(F2); Ab ; Holds] |+ 








TARXAÉHOSIY7)28 Xr], MA 











一 Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))) 


本 命题 的 证 明 思 路 如 下 : 





M 
M 

















M |= Ab( Load, Loaded, S0) 








题 

考虑 满足 下 面条 件 的 ZA(F2) 的 模型 M: 

= Holds( Loaded, Result(Load, S0)) 

= —Holds(Loaded, Result(Wait, Result(Load, S0)))) 

M |= Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))) 
显然 这 种 模型 是 存在 的 ， 并 有 具有 下 面 的 性 质 : 


M |= Ab(Wait, Loaded, Result(Load, S0)) 
M |= —Ab(Shoot, Alive, Result(Wait, Result(Load, S0))) 








到 CY7) 


] 





考虑 谓词 Ab 和 Hold， 若 删除 上 述 其 中 任何 一 个 性 质 ， 都 无 法 得 到 仅仅 满足 上 述 条 件 和 






























































个 最 小 的 模型 。 由 于 在 这 些 模型 中 有 : 
M |= Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))) 











这 样 也 会 有 














CIRC[ZXA(F2); Ab ; Holds] |+ 
—=Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))) 














所 以 说 McCarthy 的 方法 推 不 出 期 望 的 结果 。Hanks 与 McDermott 的 工作 指出 











性 质 的 模型 ， 在 这 些 模 型 中 ， 存 在 仅 满 足 上 述 条 件 和 性 质 的 模型 是 最 小 模型 。 可 能 会 存在 多 





















































般 非 单调 


性 推理 机 制 直 接 用 于 处 理 框 架 问题 也 都 不 是 合适 的 。 其 原因 在 于 这 些 机 制 中 没有 表达 时 间 的 




















念 ， 时 间 的 引入 可 以 构成 一 个 显示 的 次 序 ， 而 类 似 耶 鲁 射击 这 类 问题 的 时 间 


依赖 这 种 次 序 的 。 















































推理 本 质 上 是 


Hanks 与 McDermott 采用 次 序 极 小 化 方法 处 理 框 架 问题 。 该 方法 的 基本 思想 是 尽 可 能 地 














推迟 状态 变化 的 发 生 ， 越 晚 越 好 ， 只 








有 在 非 发 生 不 可 的 情况 下 才 发 生变 化 。 

















Hanks 与 McDermott 问题 是 由 




















F 时 间 方 向 性 而 产生 的 。 当 使 用 缺 省 逻辑 来 处 至 






































框架 问题 


时 该 问题 就 成 为 主要 的 问题 。 前 面 我 们 已 经 对 默认 推理 进行 了 介绍 ， 这 里 为 了 便于 后 面 的 说 





明 ， 重 新 给 出 去 一 些 定义 。 






























































定义 2.24 缺 省 理论 就 是 <A，5> 对 。 其 中 A 是 缺 省 规则 集合 ，z 是 一 阶 谓词 演算 
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2 包含 了 领域 知识 ， 从 中 可 以 进行 有 效 的 演绎 推理 。A 表 示 缺 省 知识 ， 从 中 可 以 得 到 缺 省 
绪论。 这 里 所 考虑 的 缺 省 理论 <A，>> 为 : 


he :-Ab(a, f,s) 
—Ab(a, f,s) 
































而 Z 是 由 上 一 小 节 的 (Y1) 到 (Y4) 和 (F2) 组 成 。 

定义 225 如 果 合 式 公 式 是 缺 省 理论 <A，>> 关 于 操作 符 T 的 固定 点 (定义 如 下 )， 则 该 合式 
公式 是 缺 省 理论 <A，z> 的 扩张 。 如 果 S 是 没有 自由 变量 合式 公式 集合 ， 则 T(S) 是 最 小 的 这 样 
的 集合 : 













































































e XcI(S) 
e 如果 g 是 T(S) 的 逻辑 结论 ， 则 $eT(S)，3 
e 如果 A 包 括 缺 省 规则 ， 


$ (X) : p (xX) 
p(x) 


Jt Héi(1i...5)e T(S), A6x1:...5)€ F(S). Wds(ty...tr)e 工 S)， 其 中 每 个 ri 都 是 
没有 变量 的 项 。 
















































































每 个 缺 省 理论 扩张 该 理论 可 接受 的 信念 的 集合 。 扩 张 的 方法 是 很 自然 的 : 初始 情况 下 ， 
扩张 集合 仅仅 包括 2 及 其 结论 ， 然 后 重复 选择 可 用 的 缺 省 规则 ， 增 加 其 结论 ， 并 形成 相应 的 演 
绎 闭 包 ， 直 到 再 没有 可 以 增加 的 结论 。 

详细 地 说 ， 给 定 缺 省 理论 <A，>>， 可 以 基于 下 面 的 算法 来 构造 扩张 。 由 于 在 这 里 我 们 只 
有 规范 缺 省 规则 ， 所 以 可 以 具有 下 述 的 算法 : 


S={} 
S= xo 5 的 逻辑 结论 
While S<> S’ 
S’ :=5S 
WER pa ps BR so te. A 


$, (X) : 9, (x) 
p(x) 


Ff A.bi(t1...tr)€ S> A6xX1i...5)€ S 
S= SU03(T1...Tn) 
S= SU S 的 逻辑 结论 
End While 


于 缺 省 规则 可 以 应 用 无 限 次 ， 因 此 对 于 很 多 情况 ， 上 述 算法 并 不 终止 。 但 是 ， 在 这 种 
情况 下 ， 每 个 中 间 S 也 是 某 种 扩张 的 子 集 ， 所 以 仍然 可 以 使 用 上 述 算 法 通过 执行 有 限 次 的 循 
环 获得 一 些 有 用 的 信息 。 

下 面 我 们 把 上 述 算法 应 用 于 缺 省 理论 ， 以 表示 耶鲁 射击 问题 。 
开始 时 ， 集 合 S= > Z 的 逻辑 结论 ， 选 择 下 面 的 缺 省 规则 ; 

—Ab(Wait, Loaded, Result(Load, S0)) 
IFEN S 不 了 矛盾， 所 以 它 是 可 行 的 。 则 由 (F2)， 增 加 : 
Holds(Loaded, Result(Wait, Result(Load, S0))) 




























































































属于 A 
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因此 由 (Y2): 
一 Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))). 

上 述 算法 本 可 以 继续 进行 下 去 ， 但 是 我 们 已 经 得 到 了 扩张 ， 该 扩张 包含 了 我 们 所 需要 的 
结论 。 上 述 扩张 是 一 种 有 目的 、 计 划 好 的 扩张 。 下 面 讨 论 不 规则 的 Canomalous) 扩张 ， 即 当 
应 用 缺 省 规则 的 时 候 ， 和 上 面 的 选择 不 一 样 。 开 始 时 ,集合 S= UY 的 逻辑 结论 。 但 是 现在 应 
用 缺 省 规则 时 ， 选 择 : 

一 Ab(Shoot, Alive, Result(Wait, Result(Load, S0))) 
该 缺 省 规则 和 S 是 一 致 的 ， 因 此 可 以 增加 到 S 中 。 现 在 增加 逻辑 结论 : 
一 Holds(Loaded, Result(Wait, Result(Load, S0))) 
我 们 已 经 知道 : 
Holds(Loaded, Result(Load, SO)) 









































因此 有 : 





Ab(Wait, Loaded, Result(Load, S0)) 
这 样 我 们 就 得 到 了 不 希望 的 结果 : 
Holds(Alive, Result(Shoot, Result(Wait, Result(Load, S0)))). 

可 见 ， 缺 省 逻辑 和 限制 理论 一 样 对 耶鲁 射击 问题 都 会 产生 不 规则 的 扩展 。 也 就 是 说 Hanks 
与 McDermott 问题 并 不 仅仅 是 限制 理论 的 问题 。 另 外 ， 上 面 的 扩展 也 说 明 为 什么 会 出 现 这 样 
的 问题 。 当 有 次 序 地 应 用 缺 省 规则 的 时 候 ， 就 是 有 目的 的 扩展 ， 也 就 是 说 最 早 的 寞 常 最 先 考 
虑 。 当 缺 省 规则 以 相反 的 次 序 应 用 的 时 候 ， 就 是 不 规则 的 扩展 ， 也 就 是 后 面 的 异常 优先 考虑 。 
或 者 说 ， 有 目的 的 扩展 是 把 变化 尽 可 能 推迟 发 生 。 这 就 是 所 谓 的 次 序 极 小 化 方法 。 

次 序 极 小 化 可 以 解决 耶鲁 射击 问题 的 不 规则 扩展 ， 并 可 以 得 到 所 需要 的 结论 [ 朱 朝 上 晖 
2001]。 这 是 一 个 进步 ， 但 是 耶鲁 射击 问题 仅仅 是 一 个 例子 ， 对 于 其 他 问题 是 否 会 有 Hanks 
5j McDermott 问题 或 类 似 的 问题 出 现 呢 ?这 是 很 重要 的 问题 , 确实 有 很 多 例子 可 以 看 到 次 序 
极 小 化 也 会 得 到 和 直觉 相 佐 的 结论 。 著 名 的 例子 就 是 所 谓 的 丢 车 问题 (stolen car). 

耶鲁 射击 问题 可 以 看 作 是 一 种 时 序 投影 问题 Cprojection problem )， 或 者 是 预测 问题 
(prediction problem)。 在 这 类 问题 中 ， 我 们 知道 在 初始 状态 下 ， 什 么 流 成 立 ， 并 且 我 们 想 知 
道 在 一 系列 动作 之 后 ， 什 么 流 成 立 。 投 影 问题 是 一 种 在 时 间 上 向 前 的 推理 ， 是 从 因 到 果 的 推 
理 。 








































































































































































































































































































于 车 问题 一 般 被 看 作 解 释 问 题 Cexplanation problem )。 在 解释 问题 中 ， 我 们 已 知 某 些 流 在 
某 些 状态 下 成 立 ， 但 是 在 初始 状态 并 不 成 立 ， 我 们 想 知道 是 什么 使 得 这 些 流 成 立 ， 因 此 解释 
问题 是 在 时 间 上 向 后 的 推理 ， 是 结果 到 可 能 的 原因 的 推理 。 
于 车 问题 是 指 : 一 个 人 早上 把 车 停 在 停车 场 并 去 工作 ， 根 据 常识 ， 根 据 惯 性 原则 ， 中 午 
时 该 车 应 该 还 在 停车 场 ， 但 是 当晚 上 该 人 去 停车 场 时 ， 发 现 车 不 见 了 。 现 在 需要 找 出 车 不 见 
了 的 原因 。 唯 一 合理 的 解释 就 是 该 车 在 早上 到 晚上 之 间 被 偷 走 了 。 因 此 以 前 的 缺 省 假设 : 
午时 车 还 在 停车 场 就 值得 怀疑 了 。 

丢 车 问题 可 以 表示 成 以 下 三 个 句子 。 这 里 采用 两 个 连续 的 Wait 动作 ， 而 不 是 显 式 地 表示 
从 早 到 晚 这 一 时 间 区 间 。 唯 一 的 流 是 Stolen， 表 示 汽 车 不 在 停车 场 。 






























































































































































































































































SC1:  —Holds(Stolen , S0) (2.38) 
SC2:  S2-Result(Wait, Result(Wait, SO)) (2.39) 
SC3: Holds(Stolen, S2) (2.40) 


























这 可 能 并 不 是 表示 丢 车 问题 最 好 的 方法 ， 但 是 它 可 用 来 说 明 次 序 极 小 化 的 难点 ， 它 给 出 
了 一 个 很 强 的 结论 ， 即 汽车 是 在 第 二 个 Wait 期 间 丢失 的 。 这 里 首先 给 出 两 个 公理 〈 考 虑 情 
空间 为 树 形 结构 ): 

Arb1:Result(a1, s1)=Result(a2, s2) > al=a2 ^ sl=s2 (2.41) 
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Arb2: SO # Result(a , s) 




















(2.42) 


那么 由 (SC1) 到 (SC3) 和 (Arb1)、(Arb2)、(F2) 可 以 得 到 : 
Ab(Wait, Stolen, Result(Wait, S0)) ^ 一 Ab(Wait, Stolen, SO). 
实际 上 汽车 也 可 以 是 在 第 一 个 Wait 之 后 丢失 的 ， 即 我 们 希望 有 : 














成 立 ， 并 且 存 在 模型 M1, M2 

















解决 Hanks 和 McDermott 问题 的 另 一 种 方法 是 
[Shanahan 1997][ R HHE 2001]. 在 











有 





SO) 











Ab(Wait, Stolen, Result(Wait, S0)) v Ab(Wait, Stolen, S0). 


MI |= Ab(Wait, Stolen, Result(Wait, S0)) 
M2 |- Ab(Wait, Stolen, 

















因果 极 小 化 (Causal minimization) 方法 
因果 极 小 化 中 , 所 有 的 改变 都 是 由 动作 引起 的 。 这 种 方法 





用 显 式 表达 的 理由 刻画 如 下 的 思想 : 任意 流 的 值 发 生变 化 当 且 仅 当 有 成 功 执行 的 动作 引起 它 
发 生 改 变 ， 即 任何 改变 都 要 有 依据 。 











的 前 提 为 Loaded。Lifschitz 对 Cause 进行 限 






































Hla], fj Cause (Shoot, Alive, false), 


在 该 方法 中 ，Lifschitz 在 系统 中 引入 了 新 的 三 元 谓词 Cause(a, f£, 表示 如 行动 a 成 
功 执行 ， 则 流 Z 取 值 为 v。 例如 ， 对 于 耶鲁 射 


Shoot 

















元 ， 对 其 进行 限定 时 不 会 引起 McCarthy 方法 中 在 不 同情 景 下 的 冲突 。 男 外 ， 对 Cause 


























定 意味 着 模型 中 动作 产生 的 效果 越 少 模型 越 优先 ， 在 耶 
地 效果 说 明 ， 利 用 对 Cause 的 限定 就 保证 了 Wait 在 优先 模型 ! 











Lifschitz 方法 可 以 解决 耶鲁 射击 问题 。 




















2.12 动态 描述 逻辑 DDL 


2.12.1 描述 逻辑 


























述 多 和 辑 是 一 种 基于 对 象 的 知识 表示 的 形式 化 ， 也 叫 概 念 表 示 语 言 或 术语 逻辑 。 




















E (IW Holds 变化 )， 由 于 Cause 不 含情 景 变 


进行 限 














鲁 射击 问题 中 ， 对 行动 Wait 没有 显示 
不 会 引起 任何 流 的 变化 ， 所 以 





它 是 一 





阶 罗 辑 的 一 个 可 判定 的 子 集 ， 共 有 合适 定义 的 语义 ， 并 且 具 有 很 强 的 表达 能 力 。 一 个 


辑 系统 包含 四 个 基本 组 成 部 分 : 








TBox 和 ABox 上 的 推理 机 制 。 







































































个 描述 则 辑 系统 的 表示 能 力 和 推理 能 力 取决 于 对 以 上 几 
的 选择 以 及 不 同 的 假设 [Baader 2003]. 
































表示 概念 和 关系 的 构造 集 ，TBox 包含 断言 ，ABox 实例 断言 ; 


个 要 素 











在 领域 中 个 体 之 间 所 具有 的 相互 关系 ， 是 在 领域 集合 上 的 一 种 二 元 关系 。 


























在 一 定 领域 中 ， 一 个 知识 












































描述 逻辑 中 有 两 个 基本 元 素 ， 即 概念 和 关系 。 概 念 解释 为 一 个 领域 的 子 集 ， 关系 则 表示 




















ÆK = <7 nx 











两 个 部 分 组 成 : TBox T 和 ABox A. Hi 




















是 一 个 关于 包含 断言 的 有 限 集合 ， 也 称 为 术语 公理 的 集合 。 包 含 断言 的 一 般 形 式 为 C 











其 中 C 和 了 都 是 概念 。ABox 是 实例 断言 的 有 限 集合 ， 形 为 C(a) ， 其 中 C 是 一 个 概念 ， 


个 个 体 的 名 字 ; REEN Pla, D. EP P 为 一 个 原始 关系 ，a，45 为 两 个 个 体 的 名 字 。 
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D000000 





TBox 


ED, 


a 是 一 
































一 般 地 ，TBox 是 描述 领域 结构 的 公理 的 集合 ， 它 具有 两 方面 的 作用 ， 一 是 用 来 引入 概念 














的 名 称 ， 二 是 声明 概念 问 的 包含 关系 。 引 入 概念 名 称 的 过 程 即 可 以 表示 为 4 = C 或 者 4E OG 




















其 中 4 即 为 引入 的 概念 。 概 念 问 的 包含 关系 的 断言 可 以 表示 为 CED. 对 于 概念 定义 和 包含 


关系 ,有 : C+D & CODACCD, 











ABox 是 实例 断言 的 集合 ， 用 于 指明 个 体 的 属性 或 者 个 体 之 间 的 关系 。 它 有 两 种 形式 的 断言 ， 
一 是 指明 个 体 与 概念 间 的 属于 关系 ， 二 是 指明 两 个 个 体 之 间 所 具有 的 关系 。 在 ABox 中 ， 对 于 
论 域 中 任意 个 体 对 象 a 和 概念 O 关于 对 象 a 是 否 为 概念 C 中 的 元 素 的 断言 称 之 为 概念 实例 断 
言 ， 简 称 概念 断言 。 若 ae C， 则 记 为 Cla); 若 agC， 则 记 为 -Cla)。 
对 于 两 个 对 象 a DAKAR 如果 a 和 满足 关系 m, WEK a R 5 为 关系 实例 断言 ， 表 
WÄ R(a,b)。 关 系 断 言 是 用 来 指明 两 个 对 象 之 间 所 满足 的 基本 关系 或 者 对 象 的 属性 ， 构 成 二 
元 关系 。 

一 般 地 ， 描 述 逻 辑 依据 提供 的 构造 算 子 ， 在 简 










































































的 概念 和 关系 上 构造 出 复杂 的 概念 和 关 

















Fro 通常 描述 逻辑 至 少 包 含 以 下 算 子 : ZM, ÆU, O, FEEN GO 和 全 称 量词 (V)。 














这 种 最 基本 的 描述 逻辑 称 之 为 ALC 在 4LC 的 基础 上 再 添加 不 同 的 构造 算 子 ， 则 构成 不 同 表达 
能 力 的 描述 逻辑 。 例 如 若 在 ALC LEYS NCBA "xU AS”, 则 构成 描述 逻辑 ALON, 
这 里 不 做 详细 介绍 。42C 的 语法 和 语义 如 表 2. 1 所 示 。 

ALC 语义 将 概念 解释 为 一 定 领域 的 子 集 ， 关 系 是 该 领域 上 的 二 元 关系 。 形 式 上 ， 一 个 解 
RET = (AS 1) 由 解释 的 领域 A“ 和 解释 函数 。 所 构成 ， 其 中 解释 函数 把 每 个 原子 概念 4 映 
射 到 A “的 子 集 ， 而 把 每 个 原子 关系 PUN BY ATX A "的 子 集 。 













































































o 一 个 解释 7 是 包含 断言 号 了 的 模型 ， 当 上 且 仅 当 Cep; 

















解释 7 是 Cla) 的 模型 ， 当 且 仅 当 aec; 7 是 P(a DIES, MAMA (a D EP; 
解释 7 是 知识 库 K 的 模型 ， 当 且 仅 当 7 了 是 和 K 中 每 个 包含 断言 和 实例 断言 的 模型 ; 
若 K 有 模型 ， 则 称 是 可 满足 的 ; 


















































e 若 断 言 \ 对 于 K 的 每 个 模型 是 满足 的 ， 则 称 RO, 15] KO. 








€ HEZO 若 K 有 一 个 模型 7 使 得 CAD, WE C 是 可 满足 的 。 知 识 库 中 的 概念 C 














的 可 满足 性 可 以 逻辑 表示 为 K e CEL. 
表 2.1 ALC 的 语法 和 语义 














原子 概念 4 ATL € AT Human 
原子 关系 P Plo atx at has-child 
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顶部 + At True 

底部 L o False 

交 CnD CiND’ Human r1 Male 

并 CUD CD Doctor LI Lawyer 

JF =C AT- cŒ -Male 
存在 量词 JR. C {x| dy, (x,y) ER? ^ yec} | 3has-child. Male 
全 称 量词 VR.C (x| V y(x, y») ERT > yec?) | Vhas-child. Male 
































































































































关于 描述 逻辑 中 的 基本 推理 问题 ， 主 要 包括 概念 的 可 满足 性 、 概 念 的 包含 关系 、 实 例 检 
测 、 一 致 性 检测 等 ， 其 中 概念 的 可 满足 性 问题 是 最 基本 的 问题 ， 其 它 的 推理 基本 上 都 可 以 转 
化 为 概念 的 可 满足 性 问题 。 

在 描述 逻辑 中 ， 可 以 利用 下 述 性 质 对 推理 问题 进行 约 简 ， 转 化 为 概念 的 可 满足 性 问题 ， 
进而 将 推理 问题 进行 简化 。 对 于 概念 G6 D， 有 如 下 命题 成 立 























(i) ŒD e MDE NIEH; 





(ii) CD 是 


^ 
于 


价 


的 e (a 























^D) 5j (D070 都 是 不 可 满足 的 ; 


Gii) C 与 D 是 不 相交 的 e». 417 是 不 可 满足 的 。 


2.12.2 动态 描述 逻辑 的 语法 




















于 动态 描述 逻辑 是 在 


有 很 多 种 类 ， 本 节 以 最 小 的 


定义 2.26 在 DDL 的 语言 ! 



































传统 描述 逻辑 的 基 耐 
XN? 58 ALC 23 dif 











LD ASI 
来 研究 动态 


Fy VA 


的 [Shi 2005], ， 而 传统 
述 逻 辑 DDL. 


述 逻 辑 
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Im 






































包括 以 下 基 





+ 
+ 
个 体 常 元 : 
个 体 变 元 : 
概念 运算 : 


公式 运算 : 


* 
* 





动作 构造 : 
动作 变 元 : 
公式 变 元 : 


概念 名 : G, C, s 
关系 名 : R, R, ce 
b oc oce 


d, 


J; 
[1, 


^, 


a, 


动作 名 : A, A, c 


ur V, 


Zoo 





LILA Kei: j 


一 以 及 量词 V; 





yw, ot 


5E X, 2.27 YE DDL 中， 概念 定义 如 下 : 
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Ws: 


》 


成 ) U ZE, * (反复 )，? (测试 ) 


ww ai bbt. com DOOO000 


(1) 原子 概念 P、 全 概念 T、 和 空 概念 上 都 是 概念 ; 











(2) 如 果 C 和 DD EMS, WAC, COD, CUD 都 是 概念 ; 





B» 





(3) WWE ROS. CONES, WIR. C, VR. C 都 是 概 ; 
(4) WE C 是 概念 ，w 是 动作 ， 则 [wa]cC 也 是 概念 。 


^ 
VA. 
v9 


定义 2.28 DDL 的 公式 定义 如 下 ， 其 中 C 为 任意 概念 ，R AKA, a, b 为 个 体 常 元 ，x, y 
为 个 体 变 元 ，a 是 动作 : 

(1) ÆW Cla), R(a, 5) 和 [a ]C(a) 的 表达 式 称 为 断言 公式 ， 它 们 是 不 带 变 元 的 ; 

(2) 形 如 C(x), Rx, y) 和 [a ]C() 的 表达 式 称 为 一 般 公式 ， 它 们 是 带 变 元 的 ; 

(3) 断言 公式 和 一 般 公式 都 是 公式 ; 














(4) WR pM y eA, Wp, pap, pow, Vxp 都 是 公式 ; 
(5) MR p 是 公式 ， 则 [a]p 也 是 公式 。 


























定义 2. 29 Bil {a/m, t av 而 的 有 穷 集 合 称 为 一 个 实例 代 换 ， 其 中 ay cs aAA 
常 元 ， 称 为 代 换 项 ， 五 ,…， 石 为 个 体 变 元 ， 称 为 代 换 基 ， 它 们 满足 zx, 7, .JE {1,…, no 
1/= Jo 

定义 2.30 设 gq 为 一 公式 ， xx,.…, x ALBAE p 中 的 个 体 变 元 ，a1,.…, a, 为 个 体 常 元 ， 仿 
PH p 通过 实例 代 换 {aj/xi, .…, aw/xw} 而 得 到 的 公式 ， 则 称 g' 为 公式 9 的 实例 公式 。 

定义 2. 31 DDL PAE (condition〉 定 义 如 下 ， 其 中 Nc 表示 个 体 常 元 的 集合 ，Nx 表 示 个 
体 变 元 的 集合 ，Ni 是 Nc 和 Nx 的 并 ， 即 Ni= NeUNr : 

VC. Cp); R(pq) p-q. p*q. KP p,qeNi,C 是 DDL 的 概念 ，R 是 DDL 的 关系 。 


定义 2. 32 一 个 动作 描述 是 一 个 形 如 4(x,,.…,x, ) = (P ED 的 表达 形式 ， 其 中 : 

























































































(1) 4 为 动作 名 : 指示 动作 表示 符 ; 

(2) 五，…， 太 为 个 体 变 元 ， 指 定 动作 的 操作 对 象 ， 因 此 也 称 之 为 操作 变 元 ; 

(3) Pg B EA AE Cpre-condi tions), 指定 动作 执行 前 必须 满足 的 前 提 条 件 , BY P= {con 
| cone condition); 

(4) 态 为 结果 公式 集 (post-conditions)， 指 定 动作 执行 后 得 到 的 结果 集 ， 刀 是 序 对 head 
/ body 的 集合 ， 其 中 head ={con | conecondition), body 是 一 个 条 件 。 

说 明 : CIO 动作 定义 了 状态 间 的 转换 关系 ， 即 一 个 动作 4 将 一 个 状态 uv 转换 成 状态 ry， 如 
RERS u 下 应 用 动作 4 则 产生 状态 vr。 这 种 转换 关系 依赖 于 状态 u v 是 否 分 别 满足 动作 4 
的 前 提 公 式 集 Cpre-conditions) 和 结果 公式 集 (Gpost-conditions), WME u T4 v. 

(20 因为 动作 4 发 生 以 前 的 状态 也 可 以 影响 动作 4 的 结果 ， 因 而 前 提 公 式 与 结果 公式 在 

述 上 有 些 不 同 。 对 于 结果 公式 head/ body, WR head 中 的 每 个 条 件 在 状态 u 中 满足 ， 则 
body 中 的 每 个 条 件 在 状态 中 满足 。 

(3) 当 动 作 4 为 空 时 ， 这 意味 着 动作 在 任何 状态 都 是 可 执行 的 ， 则 4 表示 了 静态 的 规则 
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head / body， 从 此 可 以 看 出 DDL 中 动作 还 可 以 用 于 描述 领域 的 约束 规则 。 或 者 说 ， 给 定 一 条 
head«— body 形式 的 规则 ， 我 们 可 以 用 一 个 动作 来 表示 : 


A(Xi,...,X,) = (0, {head / body}) 。 
































定义 2.33 WAX oX) = (已 , 巨 ) 为 一 个 动作 描述 ，4(a，…， 动 是 在 AC, cs x) 


























上 经 过 实例 代 换 Cao, …，a/ 厅 而 得 到 的 ， 则 称 Ala, n a) AC, tts x) 的 动作 实例 ， 
并 称 Alan ot, a) 为 原子 动作 , Pa (a, rs a) 称 为 动作 Ala, e, an) 的 前 提 集 , Ey (a, cn 
a) 称 为 动作 Ala, e, a) 的 结果 集 。 
定义 2. 34 DDL 的 动作 定义 如 下 : 
(1) 原子 动作 Alan .…, qn) 是 动作 ; 
(2) 如 果 a 和 E66 为 动作 ， 则 a;B6，aUE6，a* 都 是 动作 ; 


(3) WR 9 为 断言 公式 ， 则 ?也 是 动作 。 














2.12.3 动态 描述 逻辑 的 语义 


动态 描述 逻辑 DDL 的 语义 是 由 以 下 各 部 分 组 成 的 一 个 结构 : 
l. 非 空 集合 和 A， 是 DDL 形式 系统 中 所 讨论 的 所 有 个 体 对 象 的 集合 ， 称 为 论 域 ; 
2. 非 空 集合 W， 是 DDL 形式 系统 中 所 有 状态 的 集合 ， 称 为 状态 集 ; 
3. 一 类 被 称 之 为 解释 的 映射 D, EX DDL 中 的 个 体 常 元 、 概 念 和 关系 加 以 解释 : 

(i) 个 体 常 元 是 论 域 A 中 一 个 元 素 ; 

(i) 概念 是 论 域 A 的 子 集 ; 

(iii) 关系 是 该 论 域 上 的 二 元 关系 ; 
4. 在 状态 集 W12 之 上 的 二 元 关系 4 称 之 为 动作 ， 它 对 状态 集 W 之 上 的 转换 关系 进行 解释 。 

下 面 分 别 进行 语义 解释 。 首先 , 对 于 DDL 中 的 一 个 状态 u, 该 状态 下 的 解释 Iu) = (^ ,e 9) 

由 论 域 A 和 解释 函数 sw 所 构成 ， 其 中 解释 函数 把 每 个 原子 概念 映射 到 A 的 子 集 ， 把 每 个 原子 
关系 映射 到 A X A 的 子 集 。 概 念 和 关系 的 语义 表示 如 下 : 


































































































e SRST INE MMA, BT =a, 








e AMS LN WEES, BL = eg; 





e CUMS, CM ca; 


© FRAKA, WR'?CAXA; 


(4C) Ku) 一 ^ _c™, 
(aR) =A x A-R™, 
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e (C D) Ku) = cm ND 1), 








e (C D) Tu) 一 C™uD ie, 











(AR. C) = {| Ay, (x, y) eR? ayec ? Y, 
(VR. C)? = {x| Vy, (x, y) eR? > yec? y, 


e ([a]O)?- ixluToyxe(C) ^. 























于 个 体 常 元 并 不 依赖 于 一 定 的 状态 ， 因 此 本 文采 用 个 体 常 元 的 刚性 原理 ， 规 定 个 体 常 
元 的 命名 都 是 唯一 的 ， 且 不 随 状 态 的 变化 而 变化 。 因 此 在 下 面 的 语义 解释 中 ， 把 个 体 常 元 在 
不 同 状态 的 解释 a “都 简 记 为 a。 


















































下 面 对 DDL 中 的 条 件 进行 语义 解释 。 给 定 动作 AQ sux) = (P E1) NI EREE A 




















中 所 有 变量 的 集合 ，7= (AT, DEAR, 映射 y: NY 一 A“ 是 对 动作 A 中 变量 的 赋值 。 对 















































T DDL 的 ABox 中 的 个 体 常 元 ENc, "将 a 解释 为 A“ 中 的 一 个 元 素 , Bale ^ 7. 为 了 简便 














对 于 个 体 变 量 或 个 体 常 元 peNj， 定 义 它们 的 解释 如 下 : 








p^ ülpeN, 
如 果 C-AT 则 了 和 y 满 足 条 件 vC; 
如 果 a^ e C， 则 了 和 y 满 足 条 件 Ca): 
WR a" - bU, WI RREA a = b; 
aHa" A DU, 则 了 和 ?7 满足 条 件 a b 
e 如 果 <o7 b eR"， 则 了 和 y 满 足 条 件 R(ajb). 
在 一 定 状态 wu F, DDL 的 断言 公式 将 个 体 常 元 同 概念 和 关系 进行 关联 ， 它 们 可 以 分 为 两 
类 ， 形 如 Cl(a) 的 断言 公式 称 为 概念 断言 ， 形 如 Ra, a?) 的 断言 公式 称 为 关系 断言 。 对 于 概念 断 
言 ， 它 们 用 来 说 明 一 定 状 态 下 某 个 体 常 元 与 某 概念 之 间 的 关系 ， 即 元 素 与 集合 之 间 的 关系 ， 
其 语义 解释 为 : 


,如 果 p eN 
mal? (sspe *. JW DDL 的 条 件 的 语义 解释 为 : 









































© ucCla) iff aec™; 


€ ur-—-C(a) iff aec™. 











例如 ， 在 一 定 状态 下 ，a 是 一 块 积木 ， 表 明 a 是 属于 积木 这 个 概念 ， 可 以 表示 为 Block(a); 
是 一 个 按钮 可 以 表示 为 Button(b) 

关系 断言 是 用 来 指明 在 一 定 状态 下 两 个 个 体 对 象 之 间 所 满足 的 基本 关系 或 者 某 个 体 对 象 
的 属性 ， 是 一 种 二 元 关系 。 其 语义 解释 为 : 
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€ urR(a,a; iff (ay, a;)eR" ^, 


€ u--R(a,a;) iff (a, a;j)eR' ^, 














WW, ERRET, ER a 和 主体 a; 是 熟人 ， 可 以 表示 为 has4quaintance(a1, ar); 物体 a 
压 在 物体 5b 上， 可 以 表示 为 On(a, 5)。 关 系 断言 同时 也 可 以 表示 对 象 的 一 些 基本 属性 ， 例 如 ， 
按钮 b, 处 于 开启 状态 ,可 以 表示 为 hasState(b1, ON); 物体 a 的 长 度 为 10, 表示 为 hasLength(a, 
10). 

类 似 地 ， 在 一 定 状 态 u 下 ， 由 断言 公式 组 合 而 成 的 公式 的 语义 可 以 解释 如 下 ， 其 中 p， 孙 
为 断言 公式 : 










































































@ u--^p iff utp ”( 即 在 状态 u 下 推导 不 出 p) 





€ u=pay iff u=ọ Huey; 


€ u= poy iff u=ọp uFy; 














下 面 对 动 作 的 语义 进行 解释 。 动 作 的 执行 导致 世界 状态 的 变化 ， 因 此 动作 也 可 以 定义 为 
一 种 状态 转换 关系 。 而 状态 变化 的 过 程 实际 上 就 是 论 域 中 个 体 的 属性 以 及 个 体 之 间 的 关系 的 
动态 变化 过 程 ， 因 而 每 个 状态 下 所 有 个 体 的 属性 、 关 系 等 事实 的 描述 构成 世界 的 状态 描述 ， 
它们 都 可 以 按 动作 描述 (定义 7) 来 表示 。 因 此 DDL 中 讨论 的 状态 实际 上 就 对 应 于 该 状态 下 
的 动作 描述 中 对 所 有 条 件 的 解释 ， 这 样 就 可 以 利用 上 述 对 条 件 的 语义 解释 和 传统 描述 逻辑 的 
语义 解释 方法 来 理解 动作 的 语义 。 在 定义 动作 的 语义 之 前 ， 首 先 定义 动作 如 何 将 一 个 状态 转 
换 成 另 一 个 状态 。 

定义 2. 35 给 定 状 态 u 和 状态 下 的 两 个 解释 Iu) = (A e I Iv) = (^, 9, 在 状态 wu 下 
























































































































































应 用 动作 w= (Pa EMRE ERS v GUI u 一 “7y)， 如 果 存 在 一 个 赋值 映射 y: NYA, dE 








得 y、7(w) 和 1) 满足 下 列 条 件 : 
(1) TD 和 7 满足 前 提 公 式 集 Pi 中 的 每 个 条 件 ; 
(2) 对 于 结果 公式 集 Es 中 的 每 个 序 对 head / body, WR TD 和 ?7y 满 足 head, W Iv) Fiyi 
AE body. 






































这 时 也 称 在 赋值 映射 y 和 状态 u FIE a REETA v WAN u Lv. 











下 面 是 原子 动作 和 复杂 动作 的 语义 : 


© a={<u,w|u,veW, uv}; 
€ a; 8= {<u, v>|u,v,wew, uL WAW v) 


€ aUpb= {<u,v>|u,vew, u—> vv UY Vv}; 
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x= y y y : 
© q*={<u, V> |u, vEW, uc, vvuO maV YUD gaa VV SS 


@ p= {<u,u>|uEW, uF®@ Jj. 





由 于 上 述 对 动作 的 语义 解释 是 按 传统 描述 逻辑 的 思想 给 出 的 ， 因 而 可 以 给 出 有 关 动 作 的 
几 个 新 的 概念 定义 ， 这 些 概 念 作 为 传统 描述 逻辑 的 有 益 补充 。 
定义 2. 36 对 于 动作 a (原子 动作 或 复杂 动作 )， 如 果 存 在 解释 Iu) = (AeA Tv) = 



























































(Ajo) iu 一 ,v， 则 称 动作 a 是 可 以 实现 的 (realizable)。 





定义 2. 37 对 于 动作 a (原子 动作 或 复杂 动作 ), 如 果 存 在 动态 描述 逻辑 DDL 的 有 关 ABox 
用 的 解释 Iu) = (Ae) All DDL 的 一 般 的 解释 (有关 ABox 4 和 TBox D Iv) 2 (^,. ?), JfH. 






































满足 u 一 。v， 则 相对 于 DDL 的 ABox A, PANE a 是 可 以 实现 的 。 
定义 2. 38 对 于 动作 a 和 原子 动作 或 复杂 动作 )， 对 任意 的 解释 Iu) = (A,e*) 和 (v) = 
(Ae), HEAT: 如 果 有 w 一 。v， 则 有 w 一 pv， 则 称 动作 6 包含 动作 a， 或 者 动作 a 被 








SEBAR, WE: act. 





定义 2. 39 对 于 动作 a 和 6〈 原 子 动作 或 复杂 动作 )， 动 态 描 述 逻 辑 DDL 中 对 任意 的 有 关 
ABox A 的 解释 Mu) = (A ,e*?) 和 一 般 的 解释 (有关 ABox 4 All TBox D Uv) =(A,e™), WE 


条 件 : MRA u >v Wu 一 ?7， 则 相对 于 DDL 的 ABox 24， 称 动作 8 包含 动作 w ， 或 

















者 动作 a 被 动作 6 包含 ， 记 作 : ala» 


说 明 : 类 似 定义 2.37 和 定义 2.38， 可 以 定义 相对 于 DDL 的 TBox THISE a 可 实现 性 和 
包含 关系 。 为 了 理解 动作 的 包含 关系 ， 下 面 举 一 个 简单 的 例子 。 

给 定 下 列 四 个 动作 描述 : ar = ({A(a), ~A}, {PAA(a), DAH as = (Alo), 
—A(D}, (DAAC), PACD) as- CAC), ~A), (PAA, SACO Rl aa CA), 
~AD}, LDAA, DAWDD), FER a b. c. d 属于 个 体 常 元 ，x、y 属于 个 体 变 元 ， 则 有 





















































QEQ3 QiEQs acEa asEai asEas 和 aiEaws， 但 动作 a 1 和 动作 a ;之 间 不 存在 包 


含 或 被 包含 关系 。 


习题 





























9. ”什么 是 单调 推理 ?什么 是 非 单 调 推 理 ? 
10， 在 缺 省 理论 中 ， 缺 省 规则 是 如 何 表示 的 ， 有 哪儿 各 表示 形式 ? 
11， 一 个 默认 理论 T=<W, D», Ep D 是 默认 规则 集合 ，W 是 已 知 的 或 约定 的 对 













































































实 集合 。 请 用 


pum 
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默认 理论 表示 下 面 的 多 子 ， 并 给 出 D RLW 的 集合 。 
(1) 有 些 软体 动物 是 有 壳 动 物 。 
(2) 头 足 类 动物 是 软体 动物 。 
(3) 头 足 类 动物 不 是 有 元 动 物 。 


5.， 阐述 封闭 世界 假设 和 限制 理论 这 两 个 非 单 














6. 
















































































— 


调 推理 的 形式 化 方法 ， 并 比较 两 者 的 区 别 ? 








j 真 值 维 护 系统 描述 下 列 情况 ; 

















(1) 现在 是 夏天 
(2) 天 气 很 潮湿 
(3) 天 气 很 干燥 
7. ”如 何 用 真 值 维护 系统 保持 知识 库 的 一 臻 性， 并 用 实例 说 明 。 


















































8. 用 情景 演算 描述 猴子 摘 香 夏 问 题 。 















































一 个 房间 里 ， 天 花 板 上 挂 有 一 串 香 态 ， 有 一 只 猴子 可 在 房间 里 任意 活动 (到 处 走动 ， 推 移 
























































箱子 ， 欧 登 箱子 等 ) 。 设 房间 里 还 有 一 只 可 被 猴子 移动 的 箱子 ， 且 猴子 登 上 箱子 时 才能 摘 到 





摘 取 到 

































































香 态 ， 问 猴子 在 某 一 状态 下 〔 设 猴子 位 置 为 a， 箱子 位 置 为 bp， 香 兢 位 置 为 c) ， 如 何 行动 可 






























































IO 





9. 描述 逻辑 的 基本 要 素 是 什么 ? 
10. 动态 描述 逻辑 如 何 表 示 动 作 ? 





68 





ww ai bbt. com GOOO0000 


一 个 约束 通常 是 指 一 个 包含 若干 变量 的 关系 表达 式 ， 月 
件 。 约 束 表示 广泛 地 应 用 于 人 工 智能 的 各 个 领域 ， 包 括 定 性 
言 理解 、 景 物 分 析 、 任 务 调度 、 系 统 配 置 
而 约束 满足 系统 的 设计 是 一 项 困难 而 














A 


a. 


YE 


E 


3.1 NE XN 


























问题 ， 所 以 必须 使 用 各 种 策略 与 启发 式 信 息 。 从 知 











要 研究 ， 例 如 表示 


] 象 问题 、 默 认 才 














约束 推理 








H 

















EJ 








EE、 基 于 模型 的 诊断 、 





、 科 学 实验 规划 、 机 械 与 ! 
复杂 的 任务 ， 因 为 约束 满足 问 
识 表示 的 角度 看 ， 也 有 许多 重要 的 问题 需 


























日 以 表示 这 些 变量 所 必须 满足 的 条 























题 在 


w] 
































但 它 存 在 推理 效率 低 、 甚 至 不 可 计算 的 缺点 ， 而 
络 也 能 表示 抽象 与 默认 信息 ， 但 本 喘 不 具备 足 外 
示 可 以 弥补 这 两 种 表示 的 不 足 。 








常 有 意义 的 问题 。 
在 约束 
































了 集成 式 的 约束 满足 搜索 算法 ， 设 计 了 智能 
以 合理 的 计算 代价 有 效 
该 算法 优 于 我 们 所 知 的 同类 算法 。 此 外 ， 还 实现 了 一 些 特殊 关系 ， 如 

















式 ， 并 将 其 有 机 结合 起 来 ， 















































因此 ， 研 究 类 


里 问题 等 。 非 单调 






































如 恒 等 关 系 的 单元 共享 策略 ， 及 不 等 式 的 图 方法 与 











的 求 值 与 本 身 的 符号 关系 结合 起 来 ， 增 强 
们 设计 了 面向 对 象 的 约束 语言 SCL， 在 其 



































采用 常规 语言 
可 以 使 用 约束 传播 与 智能 回溯 来 减少 不 而 
代码 的 可 读 性 和 语言 的 易学 和 























中 的 确定 型 控制 成 分 《如 条 件 结构 )， 而 将 不 胡 


器 滴 、 约 束 传 揪 


里 方面 ， 针 对 约束 满足 搜索 中 缩小 搜索 空间 与 控制 推理 


型 层次 上 的 约束 表示 及 其 默认 


























然 语 





外 子 设备 的 设计 与 分 析 等 。 
般 情 形 下 是 


个 NP 


谓词 罗 辑 虽然 共有 足够 的 表达 能 力 ， 
且 也 不 便 表 示 局 发 式 信息 与 元 信息 。 语 义 网 
多 的 问题 求解 能 力 。 而 带 有 抽象 类 型 的 约束 表 


Ef 











i 理 , 














代价 这 一 对 矛盾 ， 提 出 























及 可 变 例 


示 次 序 等 策略 的 适当 形 





地 缩小 了 搜索 空间 。 








已 有 


AE 





个 非 














的 实验 结果 4 




















了 约束 推理 的 符号 演 弛 
中 实现 了 默认 约束 表示 与 集成 式 的 约束 推 
生成 分 局 限于 数据 部 分 。 从 而 


er 


KE 






































设计 充分 利用 C++ 的 丰富 的 计算 资源 。 
一 个 约束 满足 问题 (Constraint Satisfaction Problem， 简 称 CSP) 包含 一 组 变量 与 一 组 














区 间 推 理 的 乡 


HH o 


能 力 ， 在 约束 语言 方面 ， 我 


E 


EA 








等 式 与 不 等 式 的 推理 ， 








这 些 实现 将 约束 表达 式 


























角 定 性， 缩小 搜索 空间 。 同 时 这 种 常规 结构 也 改善 


EJ] 法 ; 并 








了 








E。 我 们 还 实现 了 约束 在 C++ 中 的 散 入 表示 。 从 而 使 得 约束 程序 




















变量 间 的 约束 。 一 般 而 言 ， 变 量 表 示 领 域 参 数 ， 每 个 变量 都 有 
值 域 可 能 是 有 限 的 ， 例 如 一 个 布尔 变量 的 值 域 包含 两 个 值 ， 也 可 能 是 离散 无 
能 是 连续 的 ， 如 实数 域 。 约 束 可 用 了 
是 找到 所 有 变量 的 一 个 《或 多 个 ) 赋值 ， 使 所 有 约束 都 得 到 满足 。 





也 可 


Ate 











eo AYE AL IRL LAY H ta 





























约束 表示 易于 理解 、 编 











(D 约束 表示 允许 以 说 














题 的 目标 条 件 及 数据 间 的 相 


HH RR 





























Hj 
































码 及 有 效 实 现 ， 它 具有 以 下 优点 : 
明 性 的 方式 来 表达 领域 知识 ， 表 达能 力 较 











因而 具有 
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个 固定 的 值 域 。 














个 变量 的 
限 的 ， 如 整数 域 ， 











IR MBO RA HER. MERR, FEB BER, 





标 























逻辑 表示 的 类 似 性 质 。 





强 
Ed 


， 应 用 程序 只 需 指定 问 
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(2) 约束 表示 人 允许 变量 的 域 包含 任意 多 个 值 ， 而 不 像 命 题 只 取 真 假 二 值 。 所 以 它 保存 了 问 
题 的 一 些 结构 信息 ， 如 变量 域 的 大 小 、 变 量 间 的 相关 性 等 ， 从 而 为 问题 求解 提供 启发 式 信息 。 





(3) Zi 





并 行 实现 。 





因为 约束 网 络 上 的 信息 传播 








可 以 认为 是 同时 的 。 




















(4 适合 于 递增 型 系统 。 约 束 可 以 递增 式 地 加 入 到 约束 网 络 。 





(5) Zl 




















与 领域 相关 








FAUNE RR ERE 














AW e AER 





BN 
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， 人 们 提出 了 不 少 





型 ， 可 以 将 约束 


Ej 





LE 分 为 以 下 儿 种 。 
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(0) 关系 推理 : 








L 
Li 








E 理 过 程 中 推 

















系统 、Simmon 的 Quan 
(2) 标记 推理 : 





















































8 的 新 的 约束 关系 ， 并 将 
tity Lattice 系统 ， 及 Brooks 的 CMS 系统 , 都 属 了 
每 个 节点 标注 以 可 能 值 的 集合 ， 在 传播 


的 问题 求解 模型 相 衔 毛 。 各 种 数学 规划 技术 ， 方 程 求解 技术 等 ， 都 可 
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ZR HES 





E 的 方法 。 根 据 联系 于 约束 网 络 节点 上 的 数据 














加 到 约束 网 络 中 。Kuiper 的 ENV 
六 关系 推理 。 
过 程 中 约束 用 于 限制 这 些 集 


AIN 
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(3) 值 推理 : 节点 标记 以 常量 值 。 约 束 用 已 标记 节点 的 值 求 出 标记 节点 的 值 。SKETCHPAD 
及 THINGLAB 都 使 用 值 推理 。 

(4) 表达 式 推理 : 是 值 推理 的 推广 ， 其 中 节点 可 能 标 以 关于 其 它 节 点 的 表达 式 。 当 一 个 
节点 标记 以 不 同 的 表达 式 时 ， 应 使 其 等 同 起 来 ， 并 求解 结果 方程 。 CONSTRAINTS 就 使 用 这 种 推 
理 。 

约束 变量 的 取 值 可 能 是 数值 ， 也 可 能 是 非 数 值 ， 即 符号 值 。 一 般 而 言 ， 非 数值 变量 的 取 
值 范 围 是 一 个 有 限 集合 。 因 而 当 约 束 传播 停止 后 ， 总 可 以 进行 穷 举 搜索 来 确定 其 一 致 性 。 而 
数值 变量 则 不 然 。 数 值 变 量 通 常 有 无 限 值 域 ， 不 可 能 进行 穷尽 搜索 。 

上 述 几 种 约束 推理 都 有 某 些 不 足 。 例 如 ， 值 推理 上 只 能 用 于 方程 约束 ， 而 不 能 用 于 不 等 式 
约束 。 关 系 推理 与 标记 推理 难以 控制 ， 且 很 难 防 止 其 进入 无 限 循环 。 在 关系 推理 中 ， 难 以 确 
定 新 推出 的 约束 是 否 对 给 定 的 问题 有 用 。 但 标记 推理 要 好 一 些 , 可 用 于 任意 形式 的 约束 。 

现 有 的 约束 表示 可 分 为 几 类 ， 按 复杂 性 的 次 序列 举 如 下 : 

e 一 元 谓词 。 

。 序 关系 语言 ， 只 包含 偏 序 关系 或 实 变 量 上 的 大 小 关系 。 

e Bm “x-y>c? M“x-y>c”? HAE. 

。 单 位 系数 的 线性 方程 与 不 等 式 ， 即 所 有 的 系数 为 -1，0，1。 

。 任意 系数 的 线性 方程 与 不 等 式 。 

。 约束 的 布尔 组 合 。 

。 代数 与 三 角 方 程 。 

最 简单 形式 的 约束 是 一 元 谓词 ， 即 对 变量 的 标记 ， 几 种 最 重要 的 标记 是 符号 、 区 间 、 与 
实际 值 。 

序 关 系 出 现在 只 关心 数量 的 大 小 关系 的 系统 中 。 例 如 有 些 系统 只 关心 事件 的 次 序 而 不 考 
虑 其 时 间 区 间 ， 如 NOAH 系统 。 在 NOAH 系统 中 ， 规 划 的 每 一 级 指定 了 该 级 中 动作 的 偏 序 关系 。 

ÉU x- y c 的 不 等 式 在 只 知道 变量 之 间 的 差 的 系统 中 非常 有 用 。 这 种 约束 在 TMM 及 
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WAN 


ai bbt. com 0000000 


许多 任务 规划 程序 得 到 广泛 应 用 。 
乘法 的 度量 空间 中 ， 对 两 个 数量 的 商 的 界定 有 时 也 是 非常 有 用 的 。 不 过 这 种 











表示 与 差 的 界定 
组 合 来 实现 时 态 
单位 系数 的 


在 具有 标量 





























是 同 构 的 。 同 构 映 射 为 对 数 函 数 。Allen 与 Kantz 使 





EE, 
















































































] 商 界定 与 序 关系 的 布尔 


线性 方程 在 常识 推理 是 很 有 用 的 。 因 为 这 种 关系 对 定性 地 表示 和 守恒 法 则 是 足 
够 的 。 守 恒 法 则 断言 一 个 值 的 变化 等 于 其 增加 的 总 和 减 去 其 减少 的 总 和 。 如 果 我 们 只 对 状态 
变化 感 兴趣 ， 则 变量 可 仅 取 +，-，0 三 个 定性 值 ， 其 系数 总 可 为 单位 系数 。 


















































线性 不 等 式 是 应 用 











上 分 广泛 的 一 种 约束 。 约 束 的 布尔 组 合 在 物理 



































涉及 代数 与 三 角 方 程 。 
目前 ， 约 束 推 理 的 研究 主要 集中 于 两 个 方面 : 约束 搜索 与 约束 语言 。 约 束 搜 索 主 要 和 
有 限 域 上 的 约束 满足 。 对 有 限 域 而 言 ， 约 束 满足 问题 一 般 情况 下 是 











包括 下 列 方法 : 
。 回溯 法 。 





























。 智 能 回 济 





约束 传播 。 
与 真 值 维护 。 















































推理 、 电 路 设计 及 规划 
中 也 得 到 广泛 应 用 。 在 物理 推理 中 还 经 常 涉及 非 线性 方程 与 不 等 式 。 在 几何 推理 中 ， 还 经 常 













































































。 可 变 次 序 例 示 。 





。 局 部 修正 法 。 























约束 推理 下 





CONSTRAINTS 是 一 个 面 





究 的 另 一 个 主要 方面 是 约束 语言 。 以 下 是 几 个 比较 典型 的 约束 语言 ; 
(1) CONSTRAINTS 



























































句 电 路 描述 的 约束 表示 语言 。 作 为 一 个 约束 表示 语言 ， 
符号 处 理 技术 来 求解 数学 方程 。 在 CONSTRAITS 中 ， 物 理 部 件 的 功能 及 器 位 
示 。 这 些 约束 一 

















2i 


个 NP 问题 。 目 前 大 体 


它 使 用 了 
F 的 结构 都 用 约束 表 








般 是 线性 方程 与 不 等 式 ， 也 包括 条 件 表达 式 。 约 束 变量 一 般 是 表示 物理 量 的 











实 变量 。 也 有 





























推理 与 值 推 理 。 























CONSTRAINTS 的 一 个 优点 是 在 类 型 层次 中 表示 约束 ， 月 


的 概念 。 同 时 ， 
域 传 播 机 制 。 
































放 实 现 相 关 制 导 的 回溯。 











些 取 离 散 值 的 变量 。 如 开关 的 状态 、 三 极 管 的 工作 状态 等 。 





























约束 传播 方法 比较 单一 ， 既 缺乏 实 域 上 的 区 间 传 播 

















(2) Bertrand 
Bertrand 是 由 Leler 开发 的 一 个 高 级 约束 语言 。 它 的 计算 模型 是 基于 增强 型 项 重 写 技 
术 的 系统 。 基 本 上 是 在 项 重 写 系统 的 基础 上 加 上 赋值 功能 与 类 型 机 制 。 这 种 技术 使 得 
象 数据 类 型 的 功能 。 它 已 





Bertrand 能 够 解决 实数 与 有 理 数 上 的 线性 方程 。Bertrand 还 包括 抽 
被 用 来 解决 图 形 * 
Bertrand 还 不 能 算是 真正 的 约束 语言 ， 而 只 能 算 作 是 约束 满足 系统 的 生成 工具 。 
































约束 来 表示 物理 对 象 的 功能 与 结 


构 。 其 缺点 是 该 语言 缺乏 类 似 于 面向 对 象 语言 中 的 方法 那样 的 成 分 ， 不 能 定义 特定 于 某 个 类 


系统 采用 表达 式 








机 制 ， 也 缺乏 有 限 域 j 
























































兰 及 电路 上 的 一 些 例子 。 














上 的 
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它 基本 
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上 没有 提供 什么 求解 离散 约束 的 机 制 ， 也 没有 提供 实数 域 上 的 
而 上 只 能 进行 值 传播 。 

















区 间 传 揪 














(3) 约束 逻辑 程序 设计 语言 CHIP 


约束 语言 很 大 一 部 分 研究 集 ， 
合 起 来 ， 基 
技术 )， 以 提高 搜索 效率 ， 增 强 表达 能 
较 有 影响 一 个 约束 逻辑 程序 设计 语言 ， 其 日 
新 的 计算 域 而 增强 逻辑 程序 设计 的 和 








逻辑 程序 设计 结 





INA 


已 坦 
AM 














过 提供 儿 种 

















| 算 域 ， 都 提供 

















或 序 关 系 传播 的 机 制 ， 























本 上 是 在 Prol 
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及 有 
































CHIP 主要 应 























表达 领域 概念 是 极其 重要 的 。 





(4) ”约束 





层次 与 HCLP 





于 约束 逻辑 程序 设计 语言 。 虹 
og 的 基础 上 引入 约束 传播 
















































































ZR ALA 


题 。 其 中 比较 有 影响 
形 界面 设计 问题 
想 是 除了 必须 满足 的 “ 硬 约 束 ” 之 外 ， 还 允许 月 











基本 思想 


这 些 软 约束 被 分 成 若干 优先 等 级 。 
约束 层次 是 带 标 记 的 约束 的 有 限 集 合 。 给 定 一 个 约束 








ZU 





























个 非常 有 趣 而 且 有 
的 是 Borning 等 人 的 工作 
中 “限制 过 度 ”(overly constrained) 的 问题 ， 提 出 了 约束 层次 的 概念 。 其 
昌 户 表达 需要 尽 可 能 满足 的 “ 软 约束 ”。 











着 重要 实用 价值 的 问题 是 所 请 



































[Freeman-Benson 1992]. 


宗旨 在 于 将 约束 满足 技术 与 
机 制 ( 
o CHIP (Constrant handling in Pro 





主要 是 弧 一 致 性 
log) 就 是 这 样 








的 是 简便 、 灵 活 而 有 效 地 解决 一 大 类 组 合 问题 。 
EJ): 有 限 域 、 布 尔 项 及 有 理 项 ， 对 于 每 
有 效 的 约束 求解 技术 ， 即 有 限 域 上 的 一 致 性 技术 ， 布 尔 域 的 布尔 合 一 技术 
里 数 域 上 的 单纯 型 法 。 除 此 以 外 ，CHIP 还 包含 一 个 一 般 的 延迟 计算 机 制 。 

于 两 个 领域 :运筹 学 与 硬件 设计 。CHIP 缺乏 类 型 机 制 ， 而 这 种 机 制 对 于 

















“ 软 约 束 ” 的 求解 问 
Borning 为 了 解决 图 











这 种 表示 就 称 为 约束 层次 。 
EX H, Ho Æ H 








集合 。 卫 是 在 非 必要 约束 中 最 强 的 约束 ， 如 此 等 等 。 最 弱 的 约束 为 H。n 


约束 的 级 数 。 


对 一 个 约束 集合 的 求 值 是 



































AR 
AUD Ege 


个 解 是 自 

















个 解 集 还 至 少 满足 
满足 更 多 非 必要 约束 的 求 
更 好 则 取决 于 应 用 。 








最 初 的 约束 





的 一 个 求 值 
它 求 值 
Ho 













































































的 求 值 必 须 至 少 满足 必要 
。 即 在 满足 必要 约束 的 求 值 中 



































有 许多 种 比较 求 值 对 约束 的 满足 程度 的 方 

















层次 的 求解 是 用 











种 过 程 表 示 霄 失 了 约束 表示 系统 所 应 有 的 说 明 性 优点 。 








辑 程 序 设计 的 基 耐 
og 之 中 ， 使 整个 约束 层次 系统 完全 建立 在 说 明 怕 
最 小 模型 理论 给 出 了 HCLP 的 模型 论语 义 。 在 实现 上 ， 首 先 





Prol 























些 过 程 〈 方 法 ) 来 使 约束 


























BP 
]3£58 





























| 变量 映射 到 域 $D$ 中 的 元 素 。 


层次 得 以 最 大 程度 地 满足 。 
因而 Wilson, Borning 等 人 在 约束 逻 
tlt 上， 设计 了 层次 型 约束 逻辑 程序 设计 语言 HCLP。 该 语言 将 约束 层次 嵌入 
FE 表 示 基 础 之 上 。 他 们 用 非 单 1 
的 逻辑 程序 的 回 





中 必须 成 立 的 约束 的 
是 约束 层次 中 非 必须 




















约束 层次 的 一 
约束 。 除 此 以 外 ， 这 
， 不 存在 比 解 集 求 值 
法 。 具 体 采 用 哪 一 种 









































但 这 


























用 理论 中 的 
YMERE 


























一 个 必要 解 。 这 个 解 可 能 包含 对 某 些 变量 的 域 〈 如 区 间 ) 的 限定 ， 而 不 


时 还 生成 当前 例 


























是 变量 的 具体 值 。 同 














示 下 的 所 有 





约束 《〈 即 约束 








层次 ) ， 然 后 由 较 强 的 约束 到 





所 生成 的 约束 去 限定 所 生成 的 必要 解 。 直 到 出 现 不 一 至 为止。 对 于 相同 








的 使 用 次 序 ， 将 
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导致 不 同 的 解 。 
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较 弱 的 约束 ， 逐 次 用 
层次 中 的 约束 的 不 同 























约束 层次 的 这 种 解法 是 简单 而 快捷 的 ， 但 却 是 不 完全 的 ， 
况 下 并 不 一 定 对 应 整个 逻辑 程序 的 最 小 模型 ， 


























(5) 面向 对 象 约束 语言 COPS 
中 





























国 科学 院 计 算 技 术 研 究 所 智能 计算 机 科学 
术 ， 将 说 明 性 约束 表达 与 类 型 层次 结合 起 来 。 在 形式 上 吸收 了 常规 语言 ， 主 要 是 面 
程序 设计 语言 的 基本 形式 。 内 部 求解 时 采用 约束 推理 机 制 ， 使 说 明 性 约束 表达 式 与 类 型 层次 
相 结 合 ， 实 现 知识 的 结构 化 封装 ， 充 分 发 挥 
较 高 求解 效率 的 约束 满足 系统 。COPS 的 设计 考虑 了 软件 工程 的 应 














因为 1 


























而 只 对 应 


aD 


EHER TE 















































问题 6 











类 方法 的 重 栽 实现 同一 约束 的 不 同 实现 ， 提 高 了 程序 的 执行 效率 。COPS 系统 同时 





者 的 优点 ， 力 图 


放 实验 室 研制 的 COPS 系统 利用 面 


此 而 产生 的 解 在 一 般 情 
中 的 最 小 模型 。 








句 对 象 技 
WAN 











A 
Ay 























实现 一 个 具有 较 强 表达 能 力 和 





























IER, 








定 化 : 它 允 许 条 件 语句 与 循环 语句 ， 而 不 是 单纯 以 递归 的 形式 来 实现 迭代 1 














式 的 开放 系统 , 用 户 能 通过 类 型 层次 定义 , 实现 新 的 数据 类 型 和 新 的 约束 关系 。 约 
具有 许多 人 工 智 能 程序 设计 语言 的 特点 ， 如 约束 传播 











限 步 的 回溯 、 对 象 分 层 中 的 继承 等 。 
(6) ILOG 











ILOG 公司 创建 于 1987 年 ， 总 部 位 于 法 国 巴 黎 和 美 
界面 以 及 商业 规则 应 用 领域 的 软件 组 件 供应 商 ， 也 是 全 球 将 优化 算法 运用 到 商业 应 




















的 公司 。 

















使 用 建 模 语言 来 表示 约束 问题 。 





产品 应 用 遍布 于 电信 ， 交 通 ， 国 防 ， 















































HJ, 








、 面 向 目标 和 数据 驱动 的 问题 求解 、 有 








尽量 将 一 个 不 确定 
十 算 ; 
是 一 个 渐 增 


XE COPS 








通过 











国 加 州 ， 是 全 球 领 先 的 优化 、 互 动 图 像 











yey AA 
流 等 领 
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3.2 回溯 法 














EL 7] 














求解 有 限 约 束 满 足 问题 的 最 简 和 


























各 种 组 合 ， 对 其 进行 测试 ， 直 到 一 个 涡 





直接 的 方法 


AE 











| 试 成 功 的 组 合 

















| 软件 ! 








域 。ILOG 公司 的 ILOG Solver 











E 成 测试 法 ， 即 依次 和 








。 这 种 方法 显然 是 低 效 的 。 


成 所 有 变量 的 值 的 
一 种 直接 的 
































改进 是 顺序 回 淹 法 。 顺 序 回 渊 法 以 固定 次 序 对 变量 进行 例 示 ， 当 新 的 变量 与 先前 赋值 的 变量 

















CE HAH 



































则 回 到 上 一 个 赋值 的 变量 ， 

















并 对 该 变量 重新 赋值 。 

















假设 一 个 CSP 问题 的 解 由 一 个 不 确 
设 变量 LAERA 五 WU oc PU EE Xi PARTUR. 





有 约束 条 件 。 
解 空间 为 





"Pon 是 变量 总 数 。 


















































定 长 度 的 向 量 组 成 ， 














即 (x, X5 * 




















所 有 的 值 都 被 穷尽 。 当 所 有 的 值 都 失败 ， 








…) 它 满足 问题 中 所 



































Xi x Xo xee 


回溯 算法 求解 开始 时 ， 部 分 解 为 空 向 量 。 然 后 从 变量 4 
解 中 去 。 通 常 可 选 一 个 最 小 的 元 素 作为 这 的 取 值 。 各 种 约束 会 告诉 我 们 XA 




















x X, 














EAJ 
NA 























Xi 的 候选 者 ， 这 些 成 员 可 
到 部 分 解 ( Xn Xa °’ 
须 进 行 回 
全 Xk-2 以 此 类 推 。 设 T(x, Xa, °* 


有 新 的 扩展 结 点 ， 则 限界 
































函数 BT. (x, Xa °° 





一 个 子 集 S: 来 表示 。 由 约束 条 伯 
* Xi X) 的 候选 者 。 如 果 
W, FFA 2 选取 一 个 新 的 允许 值 。 如 果 xs AB 
… Xe) AS 五 的 所 有 可 能 
xo BR TURE. 


(xı, X» °° 









































值 。 当 部 分 解 
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选择 一 个 变量 


F 可 以 找 出 从 部 分 解 
E Xy-1) 不 允许 x DUET, MA S. =D, 必 
所 的 允许 值 ， 就 进一步 回 





而 问题 的 整个 可 行 


郊 并 加 到 部 分 
P 些 成 员 可 作为 


(x, X2 °° 





"S Xi) 








39 
… x) RICE 


Gu, Xt 





只 求 一 个 解 的 回溯 算法 如 


73 


T. 
算法 3.1 回溯 算 法 BACKTRACK. 
输入 : ”一 个 CSP 问题 
输出 : 一 个 完全 解 或 无 解 返回 

procedure BACKTRACK 
begin 
Fe; 
while 40 do 
if x FETE A Rr AE 


Xk € TG, X» ttt, Xr) and 























BT: Cx, x», ***, Xk ) = true 
then if (x, xa °°, x ) 满 足 所 有 约束 条 件 
then return(0); /* 返回 一 个 解 */ 
else A=k+1; 
endif; 
else A=k-1; 
endwhile 
return(1); /* 无 解 返 回 */ 
end BACKTRACK 









































尽管 回溯 法 好 于 生成 测试 法 ， 但 对 于 非 平凡 问题 仍然 是 低 效 的 。 其 原因 在 于 搜索 空间 中 
不 同 路 径 的 搜索 重复 相同 的 失败 子路 径 。 一 些 研究 者 认为 ， 造 成 这 种 反复 的 原因 是 所 谓 的 局 
























































部 不 一 致 性 。 最 简单 的 情形 是 所 谓 的 结 点 不 一 致 性 。 对 一 个 变量 vy 的 一 个 一 元 约束 。 存 在 域 
中 一 个 值 vw 不 满足 该 约束 。 这 样 , 每 当 VS a 时 就 会 出 现 不 一 致 性 。 另 一 种 重复 的 情形 是 
所 谓 的 弧 不 一 致 性 。 可 以 用 下 例 来 说 明 。 设 变量 的 例 示 次 序 为 Vy Vs tto Vig Vp ts Vio 




































































设 vi 与 Vw 之 间 存 在 约束 ， 使 得 对 v=a，vi 不 存在 任何 值 满足 该 约束 。 这 样 每 当 产 赋 以 a fH 
后 , 当 赋值 时 将 出 现 失败 。 这 个 失败 将 对 所 有 v Gr BOB 









































直 的 组 合 都 重复 。 









































因为 节点 不 一 致 性 而 出 现 的 反复 ， 可 以 通过 消除 每 个 变量 域 ; 


























不 满足 其 一 元 约束 的 值 而 





加 以 克服 。 而 弧 不 一 致 性 可 以 通过 执行 弧 一 致 性 算法 而 加 以 消除 。 下 一 节 给 以 出 弧 一 致 性 ( 算 























法 ) 的 形式 定义 并 给 出 相应 的 算法 。 


3.3 约束 传播 

















如 果 对 v; 的 当前 域 中 的 所 有 值 x， 存 在 放 的 当前 域 中 的 菜 值 了 使 得 v; =x A vzy 是 vits 





















































之 间 的 约束 所 允许 的 ， 则 弧 (ww， 苞 是 弧 一 致 的 。 弧 一 致 性 的 概念 是 有 向 的 。 即 (wv ) 
是 弧 一 致 的 并 不 自动 地 意味 着 (vw 中) 是 一 致 的 。 例 如 ， 如 果 的 当前 域 为 {aj ， 友 w 的 当前 域 
Ayla, bj, v5 玫 之 间 的 约束 为 不 等 关系 ， 则 (v, v) ÆI. MOs UNE. KAA 
对 v=b， 不 存在 世 域 中 任何 值 ， 使 其 不 等 关系 成 立 。 显 然 (V， 史 之 间 可 以 通过 删除 不 满足 彼 





L 
































此 之 间 不 满足 约束 的 值 而 实现 其 弧 一 至 性。 而 且 删 除 这 些 值 不 影响 原来 CSP 的 任何 解 。 以 下 











就 是 实现 这 种 删除 操作 的 算法 。 
算法 3. 2 约束 传播 修改 算法 [Mackworth 1977]. 
procedure REVISE (V, Vj) 
DELETE «— false; 
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for each x e Di do 
if there is no such y eD; 
such that (x,yj is consistent, 
then 
delete x from Di; 
DELETE <- true; 
endif 
endfor 
return DELETE; 
end REVISE 











为 了 使 约束 网 络 中 所 有 的 弧 都 一 致 ， 只 对 每 个 弧 执 行 一 次 REVISE 操作 是 不 够 的 。 每 当 

















REVISE 对 某 个 变量 LETT TAR, DAMIER Os v) 必须 重新 修改 ， 因 为 vith ae) 
了 。 以 下 算法 对 整个 约束 网 络 获得 弧 一 致 性 。 





算法 3.3 约束 传播 AC-1 算法 [Mackworth 1977]. 
procedure AC-1 
Q< (V, V) earcs(O, iz; 
repeat 
CHANGE < false; 
for each (V, V;) e Q do 
CHANGE <—  REVISECV, V; ) V CHANGE; 
endfor; 
until not (CHANGE) ; 
end AC-1 








这 个 算法 的 主要 缺点 是 ， 一 次 成 功 的 修改 后 ， 对 所 有 的 弧 都 要 作 一 次 修改 操作 。 尽 管 仅 





有 少数 弧 受 到 影响 。AC-3 对 此 作 了 改进 ， 该 算法 仅 对 可 能 受到 影响 的 弧 进行 修改 操作 。 


算法 3.4 约束 传播 AC-3 算法 [Mackworth 1977]. 
procedure AC-3 
Q < ((4 V) e arcs(@, iz; 
while Q not empty 
select and delete any arc (Ve V) from Q; 
if (REVISE(M, V, )) 
then Q < ((V, V) such that (V i,V k) e arcs(6), izk, izm} 
endif; 
endwhile; 
end AC-3 


著名 的 Waltz 算法 是 这 个 算法 的 特例 [Waltz 1975] 。 它 等 价 于 Mackworth 提出 的 另 一 个 

















算法 AC-2。 假 定 每 个 变量 域 的 大 小 为 d, 约束 网 络 中 边 的 个 数 为 e， 弧 一 致 性 算法 的 复杂 性 为 
O(ed). Mohr 与 Henderson 提出 了 另 一 个 弧 一 致 算法 [Mohr 1986]， 其 复杂 性 为 0(eq) 。 因 而 
就 最 坏 情 形 的 复杂 性 而 言 ，Mohr 与 Henderson 的 算法 是 最 优 的 。 






































给 出 一 个 弧 一 致 的 约束 网 络 ， 是 否 存 在 变量 当前 域 中 的 一 个 赋值 。 使 其 成 为 CSP 的 一 个 
























































解 。 如 果 每 个 变量 的 域 最 后 都 上 只 剩 下 一 个 值 ， 答 案 无 疑 是 肯定 的 。 否 则 在 一 般 情 况 下 答案 是 
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否定 的 。 尽 管 如 此 ， 弧 一 致 性 算法 还 是 减 小 了 回 洲 法 的 搜索 空间 。 





既然 弧 一 致 性 算法 
法 搜索 的 需要 呢 。K 一致 性 的 








4 

















足以 代 奉 回溯 法 ， 那 么 是 否 存在 更 强 的 一 致 性 算法 能 够 消除 对 回溯 


= 




















概念 对 不 同 的 & 值 体现 不 同 的 一 致 性 。 一 个 约束 网 络 是 弧 一 致 的 
而 且 仅 当 对 任意 £-7 个 变量 的 值 ， 如 果 这 些 值 满足 这 些 变量 之 间 的 所 有 约束 ， 则 对 任意 第 X 




































































变量 存在 一 个 域 中 的 值 ， 它 与 f-7 个 值 一 起 满足 这 变量 的 所 有 约束 。 更 精确 地 说 : 
设 变量 Xn X2 177, Xil 的 赋值 分 别 为 ay, ay 
Vs ct Ve Ve ASTRA, SUES AEE mw， 存 在 一 个 值 ae Ea, as ce 























EIN 
ar ae WAL Vp Vn ttt Vie, 


一 个 约束 网 络 是 强 K- 一 致 的 ， 如 果 对 所 有 的 m 8 


于 1 强 一 致 的 ， 弧 一 致 性 相当 于 2 强 一 致 的 。 对 I» 2， 存 在 算法 使 得 约束 网 络 是 强 一 致 的 























m 间 的 所 有 约束 。 


























tt, ko 如 果 a1, a» °°, del 满足 Vi, 

















Ke .7 一致 的 ， 贡 点 一 致 性 相当 


























(Cooper 1989) 。 昌 然 ， 如 果 一 个 有 个 节点 的 约束 网 络 是 n 强 一 致 的 ， 则 不 用 搜索 就 能 找到 














一 个 解 。 然 而 对 n 节点 约束 网 络 ， 其 n 一 致 算法 也 是 指数 的 。 





不 过 ， 对 于 具有 特殊 结构 的 约束 网 络 ， 











的 约束 网 络 存在 弧 一 致 算法 ， 


























存在 多 项 式 算法 。 
使 其 可 以 在 线性 时 间 内 求解 。 




















最 简单 的 情形 是 ， 对 于 树 结 构 


3.4 约束 传播 在 树 搜索 中 的 作用 











上 面 讨论 了 两 种 不 同 的 CSP 求解 方法 :回溯 法 与 约束 传播 。 在 第 一 种 方法 中 通过 测试 变 





量 的 不 同 组 合 来 得 到 一 个 完整 的 解 。 这 种 方法 
通过 传播 变量 间 的 约束 ， 从 而 降低 问题 的 复杂 性 。 
法 来 求解 。 但 n 一 致 性 算法 比 回溯 法 效率 更 低 。 而 对 kn， 
到 一 个 全 局 一 致 的 解 。 一 种 综合 的 办 法 是 将 给 传播 庶 入 到 回溯 法 中 ， 有 具体 做 法 如 下 。 

首先 生成 一 个 根 搜索 节点 ， 求 解 最 初 的 CSP。 当 一 个 搜索 节点 被 访问 ， 使 用 约束 传播 算法 













































































的 缺陷 是 搜索 路 径 的 重复 。 在 第 二 种 方法 中 ， 

















尽管 任意 CSP 问题 总 可 以 通过 1n 一 致 性 算 











k 一 致 性 算法 又 不 能 保证 能 得 






































以 达到 预期 程度 的 一 致 性 。 如 果 存 在 一 个 搜索 节点 ， 每 个 变量 恰 包含 一 个 值 ， 而 且 对 应 的 CSP 





















































是 弧 一 致 的 ， 则 该 搜索 节点 表示 一 个 解 。 如 果 在 约束 传播 过 程 中 ， 茶 些 变量 的 域 变 为 裤 ， 则 











该 搜索 节点 被 剪 校 。 和 否则 ， 选 择 一 个 变量 《其 域 的 大 小 >1)， 对 该 变量 的 每 一 个 可 能 的 值 生 
的 CSP 搜索 节点 表示 当前 CSP 搜索 节点 的 后 继 节点 。 所 有 这 些 
搜索 节点 通过 使 用 深度 优先 的 回 渊 法 来 访问 。 





成 新 的 CSP AAW. ENB 












































现在 问题 是 对 每 个 搜索 节点 约束 传播 
























































应 做 到 何 种 程度 。 如 果 完 全 不 做 约束 传播 ， 则 退化 








成 标准 的 回溯 法 。 如 果 对 具有 m 个 未 赋值 的 变量 的 CSP 搜索 节点 施行 m 一 一 致 性 算法 则 等 于 




















完全 排除 了 回溯 法 的 使 用 而 造成 严重 的 低 效 。 经 验 表明 ， 受 限 形式 的 约束 传播 (一 般 其 一 致 性 
程度 不 超过 弧 一 致 性 ) 具有 最 佳 的 效益 。 












































3.5 智能 回溯 与 真 值 维护 








克服 标准 回溯 法 缺陷 的 另 一 种 方法 是 智能 回 滴 。 在 智能 回 滴 中 ， 回 溯 到 哪 一 步 决 于 是 哪 
一 个 变量 造成 了 失败 。 智 能 回溯 是 如 何 克 服 标准 回溯 的 缺陷 ， 可 以 从 如 下 例子 来 考虑 。 











假定 变量 Vi, v; EID 


























容 。 现 在 假定 vw 的 所 有 可 能 值 都 与 v=a HA. AAYE 


















































| 赋值 ai, bs, c20 BUE ve R 














发 现 有 任何 值 与 ww 的 b 和 bs 相 




















的 不 适当 选择 所 引起 的 ， 所 











以 智能 回溯 应 回溯 到 xv。 但 这 种 方法 也 同时 撤消 ww 与 w 的 值 。 











这 种 方法 虽然 能 够 根据 失败 的 源 找到 正确 的 回溯 点 ， 但 并 没有 完全 避免 相同 路 径 的 重 
方法 。 这 种 方法 在 Doyle 的 真 值 维护 系统 (TMS) ! 








复 。 相 关 制导 的 回溯 是 解决 这 个 问题 的 一 利 
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得 到 推广 与 应 用 。 
个 基于 真 值 维 护 系统 的 问题 求解 系统 包含 两 个 部 分 : 一 个 推理 机 与 一 个 真 值 维护 系统 
TMS。 推 理 机 用 于 由 旧 的 事实 推出 新 的 事实 ， 而 真 值 维护 系统 TMS 记录 这 种 推理 的 论据 。 新 事 
实 的 加 入 可 能 使 得 某 些 已 有 的 假设 不 再 为 真 。 因 而 这 种 论据 的 维护 使 得 可 以 废除 不 再 成 立 的 
假设 。 这 种 方法 对 CSP 的 应 用 可 描述 如 下 。 

当 一 个 变量 被 赋 以 某 个 值 ， 生 成 该 赋值 的 一 个 论据 。 类 似 地 ， 对 一 个 默认 赋值 也 可 生成 
其 论据 。 对 这 种 情况 ， 系 统 检 查 当 前 赋值 是 否 违 反 任何 约束 。 如 果 违 反 ， 则 生成 一 个 新 的 节 
点 表示 两 个 变量 的 一 对 值 相互 矛盾 。 这 种 节点 还 被 用 来 作为 其 它 赋 值 的 论据 ， 这 个 过 程 一 直 
持续 到 对 所 有 变量 找到 一 个 一 致 的 赋值 。 这 种 系统 不 会 出 现 宛 余 与 重复 的 计算 。 
尽管 这 种 系统 的 搜索 量 是 最 小 的 ， 但 确定 违反 约束 的 失败 源 的 开销 却 是 极 大 的 ， 由 于 推 
理 步 数 是 指数 增长 的 ， 因 而 用 于 存储 及 检索 的 时 间 与 空间 开销 也 都 是 指数 复杂 的 。 所 以 对 很 
多 问题 ， 这 种 方法 可 能 比 普通 回溯 法 占用 更 多 的 时 间 。 
另 一 个 相关 的 工作 是 de Kleer 的 基于 假设 的 真 值 维护 系统 ATMS 。 基 于 假设 的 真 值 维护 系 
统 由 真 值 维护 系统 TMS 演变 而 来 。 真 值 维护 系统 可 视 为 某 种 形式 的 约束 传播 。ATMS 是 TMS 的 
扩充 ，TMS 只 维持 单个 上 下 文 ， 而 ATMS 则 试图 同时 搜索 多 个 上 下 文 。 因 而 ， 每 个 推出 的 事实 
都 与 所 有 使 其 成 立 的 假设 相 联 系 。 一 个 结论 可 能 在 多 个 上 下 文 都 成 立 。 假 设 与 论据 的 区 别 在 
于 ， 除 非 有 证 据 其 为 假 ， 否 则 总 认为 是 真 。ATMS 的 优点 在 于 不 同 的 上 下 文 可 以 共享 一 些 中 间 
假设 ， 而 不 用 去 分 别 地 生成 它们 。 但 中 间 假 设 的 个 数 通常 是 指数 增长 的 ， 因 而 这 种 生成 过 程 
是 呈 指 数 复杂 性 的 。 但 ATMS 具有 如 下 一 些 缺 点 : 

“它们 是 面向 求全 解 的 ， 对 求 单 解 经 常 出 现 不 必要 的 搜索 ; 
。 用 于 维护 所 有 上 下 文 的 时 间 与 空间 开销 很 大 ; 
“ 排 错 比较 困难 。 
而 且 这 种 方法 很 难 估计 其 存储 要 求 ， 所 有 的 推导 及 其 假设 都 必须 记录 。 这 使 得 这 种 方法 很 难 
应 用 到 大 规模 系统 上 ，de Kleer 与 Williams 后 来 又 建议 回 到 回溯 的 方法 以 控制 ATMS 。 这 也 
就 类 似 于 一 种 智能 回 淹 方法 了 。 
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sy 

















































































































3.6 变量 例 示 次 序 与 赋值 次 序 











对 标准 回溯 法 的 另 一 个 可 以 改进 的 方面 是 变量 的 例 示 次 序 。 实 验 表明 这 种 次 序 对 回 渊 搜 
索 的 效率 有 着 巨大 的 影响 。 已 提出 多 种 局 发 式 策略 。 一 种 是 选择 当前 域 最 小 的 变量 最 先例 示 。 
这 样 ， 变 量 的 例 示 次 序 一 般 是 动态 确定 的 ， 而 且 对 于 搜索 树 中 的 不 同 分 文 可 能 是 不 同 的 。 
Purdon 与 Brown 广泛 地 研究 了 这 种 局 发 式 及 其 变型 [Purdon 1983]， 他 们 的 结果 表明 对 标准 
回溯 法 有 着 极 大 的 改进 。 

另 一 个 局 发 式 是 优先 例 示 参与 约束 最 多 的 变量 。 这 种 方法 的 出 发 点 是 不 成 功 的 分 支 尽 可 
能 早 地 剪除 。 

前 面 提 到 过 树 结 构 约束 网 络 可 以 不 同济 ， 而 对 于 求解 任何 一 个 约束 网 络 可 以 通过 删除 某 
些 节 点 而 使 其 成 为 树 ， 这 些 节 点 的 集合 称 圈 割 集 。 如 果 能 找到 一 个 小 的 圈 割 集 ， 则 一 个 好 的 
局 发 式 是 先例 示 割 集中 的 变量 ， 然 后 求解 剩 下 的 树 结构 CSP。 







































































































































































3.7 局 部 修正 搜索 法 

















目前 绝 大 部 分 算法 是 基于 树 搜索 的 构造 性 求解 方法 。 但 近来 另 一 种 求解 组 合 问题 的 方法 
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1992] 。 这 种 方 














后 针对 所 出 现 的 矛盾 改变 某 个 变量 




















以 其 惊人 的 实验 结果 引起 了 人 们 的 注意 ， 这 就 是 所 谓 的 “局 部 修正 法 ”[Gu 
法 首先 生成 一 个 全 部 的 ， 但 可 能 是 不 一 致 的 变量 赋值 ， 多 
的 值 ， 以 减少 所 违反 约束 的 个 数 ， 如 此 反复 ， 直 到 达到 一 个 


























致 的 赋值 。 该 方法 遵循 一 个 简 



























































少 。 该 方法 的 基本 思想 如 下 。 
给 定 : 一 个 变量 的 集合 ， 一 个 二 元 约束 的 集合 ， 
矛盾 如 果 它 们 的 值 违反 了 一 个 约束 。 














WE: 选 一 个 矛盾 变量 ， 
局 部 修正 搜索 法 十 分 有 效 的 主要 原因 
下 一 个 所 转换 的 状态 较 大 幅度 地 减少 了 矛盾 的 个 数 。 






































局 部 修正 搜索 法 也 有 其 局 限 性 。 首 先 这 种 策略 是 不 完备 的 。 当 问题 没有 解 时 ， 该 过 程 



































能 不 终止 。 当 问题 的 解密 度 比较 小 时 ， 搜 索 的 效率 也 很 低 。 我 们 曾 对 图 
法 与 树 搜索 之 间 的 比较 。 在 图 的 边 较 少 
修正 法 不 终止 。 

目前 ， 约 束 搜 索 的 一 个 新 的 动向 是 研究 CSP HU 














问题 ， 但 大 量 的 CSP 可 以 在 可 容忍 的 时 间 内 解决 。 真 正 难 解 的 问 





单 的 法 则 :找到 一 个 引起 矛盾 的 变量 ， 然 后 选 一 个 新 值 赋 给 它 ， 使 得 结果 赋值 将 矛盾 减 3 


时 ,修正 法 较 优 。 反 之 树 搜索 效率 高 。 如 果 问 题 无 解 























到 最 




















及 对 每 个 变量 的 一 个 赋值 。 两 个 变量 相 














并 为 它 赋 一 个 值 使 得 将 矛盾 的 个 数 减 到 最 小 。 
在 于 ， 对 每 个 变量 的 赋值 提出 了 较 多 的 信息 ， 

















因而 
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着 色 问 题 进行 过 修 














, 





E 度 分 布 。 尽 管 CSP 一 般 说 来 是 一 个 NP 

















管 C 
题 只 是 一 小 部 分 。 


3.8 基于 图 的 回 跳 法 




















































































































































































































基于 图 的 回 跳 法 (Graph-pased Backjumping) 属于 相关 制导 的 回溯 中 的 一 种 。 其 中 的 相 
关 信 息 来 自 约 束 网 络 的 图 结构 。 一 个 约束 图 是 指 由 约束 关系 所 隐 含 的 图 。 其 中 的 顶点 为 变量 ， 
边 为 约束 《〈 这 里 假定 所 有 的 约束 都 是 二 元 的 )。 即 两 个 顶点 有 一 条 边 仅 当 它 们 所 代表 的 变量 存 
在 约束 。 在 基于 图 的 回 跳 法 中 ， 每 当 在 某 个 变量 出现 失 败 ， 算 法 总 是 回 到 在 图 中 与 了 联结 
的 最 近 赋 值 变量 。 下 面 是 基于 图 的 回 跳 法 的 算法 。 

算法 3.5 前 向 传播 算法 Forward。 

Forward(x, ---, x, P 

begin 

if i=n then 退出 并 返回 当前 赋值 ; 
Cin <- computeCandidates(x, ---, x, Xi); 


if Cia 4E4%, then 
Xi * Cin 中 的 第 一 | 元 素 ; 
Cin ! 删除 Xi 


Forward (x, 




















» Xi, Xith P; 
else 


Jumpback (x, Ps 
endif 


end 


» Xi 











bp p 








TEM REFS LL RS AE RO S n 











"3 








算法 3.6 回 


Jumpback (x, 


跳 算 法 Jumpback。 
Xin, P 


» Xi, 


begin 
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算 资 源 的 开销 限定 在 合理 的 范 


if 7-0, then 
PARENTS < P 





退出 无 解 ; 


arents (x) ; 





P -— PU PARENTS; 

















设 7 是 P! 
if C; Æ ©, then 
x=first in Cj 


从 C; 中 删除 x 


Forward 
else 

Jumpback 
endif; 


end 


对 基于 
相关 信息 ， 





名 











的 回 


(x, 777, Xh 


(x, 3 


3.9 


跳 法 的 改进 ， 形 成 新 的 基于 影响 的 

















而 不 仅仅 是 前 























了 这 一 问题 。 


Domai 





赋值 。 这 里 的 “ 


基于 影响 的 回 跳 法 IBMD (Inf luence-based-Back ju 
n-filtering) 将 三 种 策略 综合 在 一 起 : 最 约束 者 优先 (Most-Constrained-First)、 域 
DRI. IRATE ETRE "B 
JEE 4 gi HC 





第 减法 (Domain Filtering). 











态 联结 关系 。 这 日 


编号 最 大 的 变量 ,， P PH xy 


基于 影响 的 回 跳 法 























回 跳 法 。 首 先 
































HH BE” 














主要 


直 域 的 大 小 加 以 衡量 ， 














易 计算 的 一 个 
策略 的 一 项 十 分 有 效 的 改进 。 
是 从 变 


序 赋 











但 
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因为 这 利 


IRIRA 


= 
Bo 
































也 可 辅 


赋值 是 试探 性 



































， 我 们 的 目标 是 利用 动态 


问题 的 关键 在 于 如 何 将 引入 动态 信息 所 造成 的 计 
围 内 。 通 过 对 算法 及 其 数据 结构 的 精巧 设计 ， 我 们 成 功 地 解决 


ping, Most-constrained-first 











Hr 


| 度 ” 最 小 的 变量 加 以 
它 是 最 重要 而 又 最 容 

















[x 








为 





























zu 











EX 


FR 


Jak Ei 





玄 变 量 在 约束 


| 除 与 已 赋值 的 变量 不 一 致 





网 


络 中 的 关联 度 。 最 约束 者 优先 策略 是 对 

















司 定 次 












































值 所 引起 的 所 有 筛 除 都 必须 恢复 。 


际 影响 来 回 明 
值 所 引起 的 筛 减 过 程 
一 种 可 能 的 数据 相关 性 ， 而 影响 关系 则 是 实际 的 数据 依赖 性 。 
是 相连 的 ， 但 在 当前 





I 





我 们 所 设计 的 
统 的 依赖 制导 的 回溯 显 式 地 记载 
回 的 变量 所 依赖 的 假设 
大 的 时 间 与 





FE 





的 














空间 的 开 4 


加 跳 法 与 传统 的 依赖 制 


的 ， 所 以 被 删除 
































的 
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导 的 回 湖 ， 包 括 基 于 图 的 


























的 值 。 这 是 一 种 代价 较 小 的 约束 传 
播 技 术 。 每 当 一 个 新 的 变量 赋值 时 ， 未 赋值 变量 中 与 该 赋值 不 一 致 的 所 有 值 都 被 从 域 中 贡 
直 必 须 保存 起 来 。 当 某 个 赋值 被 撤回 时 ， 











VAR 














回 跳 法 ， 有 较 大 区 别 。 传 











EAA 


个 


E 论 所 依据 的 假设 集合 。 每 当 

















ASA A 











省。 为 了 避免 这 种 
来 回 跳 ( 事 实 上 我 们 根本 不 需要 这 种 记录 )。 我 

















并 到 该 集合 中 最 近 赋 值 的 变量 的 假设 集中 。 这 种 归并 造成 了 4 
t 法 并 不 是 根据 所 记录 的 依赖 假设 集 
门 是 根据 得 减 过 程 中 赋值 变量 对 赋值 变量 的 实 























JF. RAINES 





4 





回溯 一 步 时 ， 都 要 把 被 撤 
民 









































E. 








个 赋值 对 一 个 变量 矿产 生 影 

















w 


HER 





H, SARS 天 当前 域 中 至 少 有 
然 这 种 影响 关系 比 网 络 的 联结 关系 更 精确 。 











个 值 被 该 赋 
因为 联结 关系 这 是 
































因而 











上 下 文 下 3 

















未 发 生 影响 关系 。 基 于 影响 的 














法 来 得 小 。 





ai 











由 此 ， 还 产生 时 间 








销 的 减少 。 











在 IBMD 中 , 每 个 例 示 变量 都 保存 一 个 


E 
A ae 

















有 例 示 变量 的 赋值 )， 
有 所 减 小 。 














S TR 
个 变量 Vite 

















， 可 能 某 两 个 变量 在 约束 
加 跳 法 的 空间 规模 要 比 基 











响 的 变量 的 集合 。 给 定 IBM 的 一 个 上 下 文 ( 所 


个 例 示 变量 天 的 影响 当 且 仅 当 产 的 例 示 使 六 的 当前 域 
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IBMD 包括 前 向 例 示 过 程 和 反 向 回溯 过 程 。 前 向 例 示 过 程 首 先 选择 具有 最 小 当前 域 的 变量 

















赋值 。 对 所 选 变量 v IE 
vi ELT JE ELS. WR Ji 变 为 宝 ， 则 意味 着 vi 的 赋值 与 以 前 的 变量 赋值 相 了 矛盾 ， 因 而 开 
























































后 ， 执 行 域 筛 减 过 程 。 对 所 有 未 赋值 的 变量 v;， 删 去 其 值 域 Di 中 与 







































































始 回溯 。 回 蛮 过 程 首先 将 所 有 因 vi 的 例 示 而 删 去 的 变量 的 值 恢复 到 该 变量 的 域 中 。 如 果 vix 









































则 继续 回 滴 上 一 个 例 示 变 量 vus BA vot 到 或 任 一 已 穷尽 的 变量 没有 任何 











穷尽 了 所 有 的 值 ， 


影响 ， 或 mw 已 穷尽 了 所 有 的 选择 ， 则 令 为 再 上 一 个 例 示 变量 ， 重 复 该 回溯 过 程 ， 设 该 过 程 



























































停止 在 vo HIH 玫 的 最 新 变量 为 vo WMH ve BIA D. PUER OK Ww 及 其 例 示 值 记 入 ve 
的 影响 集中 。 然 后 重新 对 we 赋值 ， 从 而 回 到 前 向 例 示 过 程 。 下 面 是 算法 的 C 语言 程序 。 
算法 3.7 基于 影响 的 回 跳 算 法 IBMD[ 廖 乐 健 1994b] 。 














IBMD () 
{ 


int var, failvar; 

































































while (uninstantiated != nil ) { 


var-mostConstrained(); 


/* Choose a variable to instantiate */ 


a[var]-domain[var][0]; /* Assign a value. */ 
while ((failvar=propagate (var) )!=SUCCESS) { 
/* While inconsistent */ 


if ((ar=back jump (failvar)==nil) return (0) ; 


/* If back up to top, exit */ 


a[var]-domain[var][0]; /* Else reinstantiate var */ 


} 


return (1) ; 


} 





算法 3.8 El 


backjump (failvar) 





跳 算法 back jup (BEAR HE 1994b) 。 


int failvar; 


t 


int assignedVar, sourceVar; 
failedVarSet-makeVariableSet () ; 
addVariableSet(failvar, failedVarSet); 
/* Initialize the set of failed variables */ 
while ( (assignedVar-lastAssigned[ASSIGNEDHEAD]) !-TOP) 
{ /* Until go back to top */ 
retract (assignedVar) ; {/* Retract the influences of the variable */ 


if (relevant) /* The instantiation influence failedVarSet */ 


} 


if (! exhausted(assignedVar)) break; 


else 


addVariableSet (assignedVar, failedVarSet) ; 


if (assignedVar==TOP) return(nil); 


for (sourceVar=lastAssigned[assignedVar] ; 
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sourceVar !=TOP && ! isCulpit (sourceVar) ; 


sourceVar=lastAssigned[sourceVar]) ; 
/* Find last variable that is relevant to the failure */ 


domainfilter(sourceVar, assignedVar, 


return ( 


} 











在 程序 中 ， 
量 表 uninstantia 


程 。 如 果 某 变量 得 





a[assignedVar]) ; 


/* Filter the current value and record the influence */ 


assignedVar) ; 





E 








ted 移 到 已 


赋值 





的 变量 表 instantiated 中 。 














减 后 的 域 为 空 

















程 ， 并 返回 回 跳 所 
所 赋值 的 值 。 





























二 维 数组 domai 


落 到 的 变量 。 











或 者 被 某 个 


所 删除 的 值 的 集合 也 用 下 标 链 在 

















该 算法 





于 实 























中 














一 


BMD 测试 




















(BT) 、 


zs] 





n 为 变量 个 数 ， 
了 一 系列 的 例子 ， 
冲突 的 回 跳 法 CBJ、 仅 采用 最 约束 者 1 


前 面 所 例 示 的 变量 所 几 
=z > 


n[ ] 











， 则 返回 该 变量 ， 和 否则 返回 O. 
[I 果 回 跳 到 顶 ， 则 返回 nil fH. 
[ ] 用 来 对 每 个 变量 的 每 个 值 记 载 该 值 
























































函数 mostConstrained (选择 一 个 当前 域 最 小 的 变量 ， 并 将 其 从 未 赋值 
propagate O 完成 域 筛 减 过 
函数 retract O 执行 回 跳 过 
数组 al ] 用 来 存放 各 个 变量 
的 状态 :属于 当前 域 ， 














的 变 























I 除 。 属 于 当前 域 的 值 用 下 标 链 在 一 起 。 























施 穷尽 搜索 ， 




















因而 具有 
d 为 变量 域 的 大 小 (假设 所 有 域 


zp 


指数 时 间 复 杂 性 。 该 算法 的 空 
具有 相同 大 小 )。 





























并 与 其 它 一 些 算法 作 了 比较 。 








ag TA IR 














间 复 杂 性 为 0(n (n* 








顺序 











这 些 算法 包括 

















RACH GLIA MCF, X 


j 最 约束 者 优 




















第 减法 的 算法 MD, 试验 结果 显示 IBM 在 不 同 程度 上 优 于 这 些 算 法 。 例 如 , 在 工作 站 s 
IBMD 对 N-100 用 了 不 到 2 秒 钟 。 而 在 相同 的 机 器 上 ， 用 




















d 











用 IBMD 运行 N 皇后 的 例子 。 
BT 算法 运行 20 皇后 问题 用 了 10 多 秒 钟 。 当 NZ30 时 
算法 , 当 N-50 时 需 用 10 多 秒 钟 。 当 NS6O 时 需要 若 








干 小 时 。 对 N 皇后 问题 
























































，BT 算法 至 少 需要 若干 小 时 。 


个 变量 
d)), 
回溯 法 


先 与 域 
parc— 1 











对 MCF 


Ail, MD 算法 与 IBMD 





















































算法 的 性 能 大 体 相当 。 IBMD KAF MD。 这 里 有 几 种 解释 。 首 先 ， 在 N 皇后 问题 中 ， 超 过 一 
步 的 回 跳 很 少 。 域 筛 减 策略 消去 了 许多 “表层 ”不 一 致 性 ， 而 “深层 ”不 一 致 性 涉及 许多 其 
它 变量 。 其 次 IBM 的 额外 开销 较 小 。 表 3. 1 给 出 了 运行 N 皇后 问题 各 种 算法 的 执行 时 间 。 
我 们 还 试验 了 图 作 着 色 的 例子 。 当 结 点 的 联结 度 较 小 〈 科 7) 时 ， 几 乎 不 需要 回溯 。 此 时 
IBMD 和 MD 性 能 相当 。 当 增加 联结 度 时 ， IBMD 明显 优 于 MD. 
下 面 将 算法 IBM 与 同类 工作 的 其 它 算法 进行 比较 。 








(1) 与 最 初 的 回 跳 法 BJ 相 比 。 
出 现 不 一 致 的 变量 回 








BJ 只 能 











所 有 的 选择 ， 再 往 下 的 回溯 与 普通 
而 IBMD 则 可 以 连续 
于 图 的 




















(2) 与 基 


变量 并 不 发 生 影响 。 








(3) 与 Pros 


同 。CBJ 存在 一 
集 的 合并 操作 ， 因 

















(4) IBMD [ij 


个 缺点 。 


























f FEl 


Aly 








而 IBMD 利 


ser 














跳 到 造成 其 不 一 致 性 的 最 新 变量 。 
的 顺序 回 渊 法 相同 。 











因而 这 种 方法 对 性 











溯 ， 直 到 找到 一 个 与 不 一 至 








"IRAE 




















跳 法 相 比 。 
约束 网 络 的 拓扑 联结 性 是 数据 实 相 关 改 











的 近似 。 在 特定 上 下 文 下 ， 








TAA Sic Ba ft 








影响 关系 。 











等 人 最 近 
Prosser 等 人 在 93 年 IJCAT 
CBJ (Conflict-based BackJumping) 。 


的 工作 相 比 。 








尚未 穷尽 所 有 值 


很 可 能 





但 如 果 该 变量 已 穷尽 了 
生 能 的 改进 很 


有 限 。 


E 








的 变 














两 个 图 











上 发 表 了 对 回 跳 法 的 一 些 改进 。 
IBMD 与 CBJ 的 出 发 点 是 类 似 的 ， 但 

















每 








F 所 有 上 述 算法 
表 3.1 








个 变量 都 有 
而 造成 了 很 大 的 时 间 
的 一 个 方面 是 将 最 约束 者 优先 及 域 筛 减 策略 结 
运行 WW 星 后 问题 的 执行 时 间 (单位 秒 ) 





个 依赖 变量 集 。 
开销 。 而 IBMD 不 存在 这 个 问题 。 











每 当 回 跳 一 次 时 ， 


提出 了 基于 冲突 的 回 跳 法 


相关 的 

















在 实现 上 有 
都 要 执 














ZA 
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rt E 


很 大 不 
行 依赖 


来 。 
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n BT CBJ IBMD n BT CBJ IBMD 
8 0.0 0.0 0.0 26 324. 0 323. 6 0.0 

9 0.0 0.0 0.0 27 389. 4 389. 5 0.0 
10 0.0 0.0 0.0 28 2810. 2 2799. 0 0.0 
11 0.0 0.0 0.0 29 1511.1 1517.2 0.0 
12 0.1 0.0 0.0 30 * * 0.1 
13 0.0 0.1 0.0 40 * * 0.3 
14 0.5 0.5 0.0 50 * * 1.8 
15 0.4 0.5 0.0 60 * * 0. 7 
16 3.3 3. 7 0.0 10 * * 1.4 
17 1.9 2.2 0.0 80 * * 1.0 
18 16.9 11.9 0.0 90 * * 1155. 7 
19 LI 1.3 0.0 100 * * 1.8 
20 101.6 105.5 0.0 110 * * 158.9 
21 4.6 4.7 0.0 120 * * * 

22 1068.1 1048. 4 0.0 130 * * 11.5 
23 16.2 16.2 0.0 140 * * * 

24 290. 5 289. 6 0.0 160 * * 1.1 
25 35.8 35.9 0.0 200 * * 14.0 
注 : * 表 示 大 于 2 小 时 


3. 10 约束 关系 运算 的 处 理 


3.10.1 恒 等 关 系 的 单元 共享 策略 











AK 

















里 中 ， 如 果 











类 重要 的 约束 关系 。 


例如 ， 





一 个 正方 形 
应 用 的 广泛 怕 
页 求解 器 带 来 的 低 效 性 
必须 取 相 同 的 值 ， 





但 是 它 
问题 
的 变量 
本 思想 。 














可 以 定义 为 其 








电路 中 
长 和 宽 相 等 的 矩形 。 
E 和 特殊 的 语义 性 质 ， 





两 个 变量 总 是 取 相 同 的 值 ， 这 两 个 变量 
的 串联 关系 ， 
恒 等 关系 可 以 
有 必要 进行 特殊 处 到 








两 个 部 件 











尽管 


BA 








意味 着 ; 











UI 


"GE MES 


THIN Ep E 
































是 恒 等 关系 。 恒 等 关系 是 
这 过 两 个 部 件 的 电流 相等 。 
的 约束 关系 处 理 



























































实现 单 7 





= JE Er Ae 











约束 








xy d 








L+H 
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cni 





共享 策略 的 一 种 简单 方法 是 将 
网 络 的 全 局 变量 代 换 。 同 时 ， 


因而 必须 保存 原 有 的 未 等 同 前 的 变量 信息 。 


， 更 重要 地 是 它 可 以 直接 月 
所 以 可 以 在 计算 上 将 其 




















考虑 到 有 些 

















武 值 ， 则 判断 其 是 

















值 是 否 落 在 y 的 域 中 。 
如 果 x, y 都 未 赋值 ， 则 
支 节点 分 
信息 。x 和 与 别 








IA x Al y. com Cx, y) fJ 


的 节点 的 约束 








是 否 相等 


如 果 不 是 ， 则 返回 
生成 一 个 间 


























来 降低 问题 





视 为 同一 个 


E. 这 样 不 仅 可 
HM AR, 








以 避免 通用 约束 
因为 两 个 相等 








Ey wx 








两 个 相等 的 变量 用 一 
“相等 关系 是 在 进行 了 


变量 。 这 





ae 











元 共享 策略 的 基 


个 新 的 变量 代替 ， 但 这 导致 














某 些 赋值 





假设 后 作出 的 ， 

















因此 我 们 采用 了 二 又 树 表示 。 对 
， 并 返回 其 真 值 。 如 果 x 已 赋值 而 了 没有 赋值 , 则 看 x 的 





不 





域 为 x 和 yy 的 交集 。 














致 ( 失 败 ) 信息 。 
新 的 变量 节点 comx y) 称 为 x 与 y 的 公共 节 
如 果 该 交集 
联结 ， 都 被 合并 到 com(x, y) m. 
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否则 ， 





等 式 x=y, WR 


ERES UNO 


点 , 它 的 两 个 分 
HE , 则 返回 不 一 致 (失败 ) 
以 后 对 Y 或 了 的 所 有 操作 ， 














都 落实 到 com(x, y) 上 。 





一 般 情 况 


将 形成 较 大 的 

所 以 一 个 二 
叶 节 点 的 代理 
孤立 节点 )。 

对 于 树 搜 
消 以 后 ， 其 后 
该 等 式 推理 器 
具有 如 下 优点 ， 














下 ， 当 一 个 变量 涉及 更 多 的 等 式 约束 时 ， 例如 等 式 集 
{x=y, y=z, X=u) 

ZXW. 

又 树 的 根 节点 汇集 了 其 所 有 分 支 节点 的 所 有 信息 。 它 成 为 所 有 该 二 又 树 
单元 。 而 当前 所 访问 的 变量 节点 集合 为 所 有 这 样 二 又 树 的 根 节点 的 集合 (包括 








y 










































































索 而 言 ， 必 须 考虑 等 式 是 在 某 个 假设 赋值 之 后 作出 的 情形 。 当 该 假设 赋值 被 撤 
所 断言 的 等 价 关 系 也 不 再 成 立 ， 应 当 撤消 。 其 办 法 是 撤消 其 对 应 的 公共 节点 。 
提供 对 任意 两 个 同类 型 变量 之 间 相 等 关系 的 询问 ， 即 使 它们 未 赋值 。 这 种 策略 
当然 这 些 优点 可 能 是 相互 关联 的 。 








































































































(1) 由 于 
具有 恒 等 关 系 

(2) 使 得 
对 约束 


























约束 搜索 的 复杂 性 主要 取决 于 约束 变量 的 个 数 ， 而 单元 共享 策略 将 两 个 或 更 多 
的 变量 合并 成 一 个 变量 。 因 而 降低 了 搜索 空间 。 
约束 推理 器 在 变量 未 赋值 的 情形 下 也 能 发 现 与 恒 等 关 系 有 关 的 不 一 致 性 。 例 如 

































































[xy y=z, x#z} 





即使 不 对 x, y, 
(3) 使 得 

















2 赋值 系统 也 能 检查 出 该 约束 集 的 不 一 致 性 。 
约束 传播 可 以 提前 进行 。 恒 等 关系 的 单元 共享 策略 减少 了 未 知 变量 的 个 数 ， 也 























bí 








减少 了 一 个 约束 关系 中 未 知 变量 的 个 数 。 一 般 而 言 ， 只 有 当 一 个 约束 关系 中 未 知 变量 的 个 数 
足够 少时 ， 约 束 传 播 才能 够 得 以 进行 。 约 束 传播 的 提前 进行 相当 于 在 搜索 树 更 靠近 根 节点 的 



























































部 分 进行 前 枝 ， 因 而 大 大 减 小 了 搜索 空间 。 
例如 对 一 个 包含 三 个 枚 举 变量 x, y, ZINA RKA r y, 2), 4 x flos EJ MR y 5 2 为 














不 同 的 变量 , 一 般 而 言 可 能 对 y Bk oz 的 域 进行 一 致 性 求 精 。 假 如 存在 约束 关系 vez, MAAF 





实际 未 赋值 的 
(4) 使 得 
为 了 说 明 




















变量 只 有 一 个 。 因 而 约束 传播 得 以 进行 。 
约束 语言 共有 模式 匹配 等 符号 处 理 的 能 力 。 
这 种 策略 的 优点 ， 考 虑 由 COPE 语言 实现 定性 物理 中 的 定性 加 运算 的 例子 。 一 






















































































个 在 实数 域 上 变化 的 物理 量 可 以 用 定性 变量 来 刻画 其 正 负 性 。 一 个 定性 变量 取 正 (pos)、 负 


(neg), Ẹ (zero) 三 个 值 : 


enum qual 








定性 值 的 加 运 


qualsum 














enum qual 


{ 


















































itative {pos, neg, zero}; 
算 可 如 下 定义 : 
(x, y, Z) 








itative X, y, Z; 


if (x=y) z=x 
if Cezero) z- 


if (y=zero) z-x 


} 


如 果 我 们 有 约 
main 
{ 
enum qua 
qual 
qual 


束 程序 





litative u, v, w; 
sum(u, v, mw; 


sum(u w, v); 
83 
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W-zero; 


} 




















则 不 进行 任何 试探 性 搜索 ， 就 能 求 得 唯一 解 ， 该 解 为 [u-zero, v-zero, wzero}. AXI 


qualsum(u, w, v) 及 w zero, f op 该 等 式 使 得 qualsum(u, v, w) HEH) u-w-zero; Milt 











V-u-zeroe 


3.10.2 区 间 传 播 








除了 等 式 关 系 ， 数 域 上 最 通常 的 关系 是 不 等 式 ， 特 别 是 机 械 电 子 设 备 的 分 析 与 设计 中 ， 
\ 等 式 的 应 用 尤为 重要 。 不 等 式 表 示 最 基本 的 推理 形式 是 用 于 对 变量 值 的 测试 。 即 已 知 变量 
的 值 ， 计 算 并 检查 变量 的 值 是 否 满足 该 不 等 式 。 单 纯 这 种 计算 方式 只 能 用 于 约束 满足 的 生成 
测试 策略 。 而 这 种 策略 效率 是 最 低 的 。 这 里 我 们 实现 了 较 强 形式 的 不 等 式 推 理 。 
比较 常用 的 不 等 式 的 一 种 推理 形式 是 区 间 推 理 ， 即 约束 网 络 上 的 区 间 传播 。 给 定 一 些 变 
量 的 区 间 限 制 ， 由 变量 间 的 序 关 系 ， 推 出 对 另 一 些 变量 的 区 间 限 制 。 例 如 ， 设 有 约束 x? y 
Hate x 与 y 的 区 间 分 别 为 [ La, el 与 [2。， 寻 ， 则 对 该 约束 进行 约束 传播 后 x 与 了 的 
新 的 区 间 为 
[max(/,, 1), g] 
[l, min(g, &)] 
WR e € 7,， 则 意味 着 矛盾 。 
这 种 推理 同样 可 以 推广 到 更 复杂 的 方程 式 或 不 等 式 。 考 虑 方程 y =z, Hox 万 2 的 当 
WK AHALL gl, Led. (L JWR L+ Loe 或 g + g,《 1;， 则 意味 着 矛盾 。 
否则 z 的 新 区 间 值 L^, 0] ud 为 
I’, = max(i, + 1, 1 
g.-min(g + g, g) 
x 的 新 区 间 值 CL’, 8^ 为 
I’, = max(lL, - g, 1) 
g,.-7min(g- I, g) 
y 的 新 区 间 值 C27, g^ 为 
ZI’, = max(7 - g, 1) 


























































































































































































































































































































&y = min (g; = dg &) 


3.10.3 不 等 式 图 


在 很 多 人 工 智能 应 用 ， 如 定性 推理 、 时 态 推理 、 活 动 规划 中 ， 所 关心 的 是 变量 间 大 小 的 
相对 关系 。 因 而 这 种 序 关系 的 推理 是 非常 重要 的 。 这 实际 上 是 对 不 等 式 的 公理 性 质 ， 如 恒 等 
关系 的 公理 、 偏 序 关 系 的 公理 等 进行 推理 。 


将 所 有 形 如 x < y 5E xy 的 不 等 式 组 成 一 个 不 等 式 图 。 关 系 xX yY 









































































































































xCy RRA xs yy 与 x 大 有 x) vy RAYS x 与 x se yy( 恒 等 关系 已 用 单元 共享 


策略 实现 )。 


ww ai bbt. com [1 HB DL O D D] 








定义 3.1 递增 疾 。 一 个 不 等 式 图 是 一 个 标记 图 《7 BD, 其 中 ，V 是 变量 节点 的 集合 。 边 集 
E 是 关系 表达 式 x roy WRA, x ye Vr 为 关系 二 或 <o 网 络 中 的 一 条 递增 路 径 是 变 


















































量 节点 的 序列 v, vs ..., vo WEIER 1( 二 2,...， D, (vin s v) 是 网 络 中 的 一 条 边 
如 果 VEVI, Rud end at te o 

显然 ， 不 等 式 图 具有 下 列 性 质 : 

性 质 3.1 一 个 递增 圈 如 果 其 中 任意 两 个 变量 节点 (可 能 相同 ) 之 间 都 不 含 + Xu. Qupd 























增 圈 中 所 有 的 节点 都 表示 相同 的 变量 。 
性 质 3.2 如 果 不 等 式 图 中 存在 一 个 递增 轿 ， 其 中 某 两 个 变量 节点 《〈 可 能 相同 ) 之 间 含 + 


边 , 则 不 等 式 图 蕴涵 不 一 sa 
性 质 3. 1， 可 将 一 个 不 等 式 图 进行 等 价 转换 ， 使 其 不 含 递增 图。 其 办 法 是 对 任意 不 等 
式 中 的 递增 图， "ue 所 有 的 节点 按 单元 共享 策略 合并 为 同一 个 变量 节点 。 将 所 得 到 
的 结果 图 称 为 该 不 等 式 医 at 图 。 
由 性 质 3. 2， 我 们 定义 一 个 不 等 式 图 的 图 不 一 致 性 。 

定义 3.2 一 个 不 等 SAARE 致 的 ， 当 且 仅 当 图 中 存在 一 个 递增 图， 其 中 某 两 个 变量 


节点 《可 能 相同 ) 之 间 含 - 31 

定理 3. 1 一 个 不 等 式 图 是 图 不 一 致 的 ， 当 且 仅 当 其 精简 图 中 ， 存 在 一 个 变量 节点 ， 有 
个 引 向 自身 的 # 边 
基于 这 两 个 事实 ， 不 等 式 推理 器 实施 图 遍历 过 程 ， 如 果 发 现 一 个 递增 图 ， 则 按 单 元 共享 
策略 将 其 合并 为 同一 个 变量 节点 。 如 果 一 个 变量 其 域 为 空 ， 或 有 一 个 引 向 自身 的 S 边 ， 则 


报告 不 一 臻 性。 不 难 证 明 上 述 操 作 关 于 偏 序 关系 及 恒 等 关系 的 完备 性 ， 即 给 定 一 个 变量 间 恒 
等 关系 、 不 等 关系 及 偏 序 关系 的 集合 P 以 及 有 关 恒 等 关系 和 偏 序 关系 的 公理 集合 C WA, 


WO G 是 不 一 致 的 ， 当 且 仅 当 7 所 对 应 的 不 等 式 图 是 图 不 一 致 的 。 
与 演绎 方法 相 比较 ， 这 种 图 操作 方法 有 效 得 多 。 因 为 图 遍历 过 程 仅 共有 线性 复杂 性 


3.10.4 不 等 式 推 理 


` 等 式 图 体现 了 不 等 式 的 结构 性 质 。 当 不 等 式 图 中 的 变量 节点 被 赋予 区 间 限 制 时 ， 则 除 
了 不 等 式 图 本 身 的 操作 之 外 ， 还 在 不 等 式 图 上 进行 约束 传播 。 所 有 这 些 操 作 ， 都 是 在 这 种 不 
等 式 网 络 接收 到 一 个 外 部 输入 后 引发 的 。 这 些 外 部 输入 包括 : 向 网 络 加 入 一 个 关系 表达 式 x 


ry. 其 中 x 与 y 为 变量 或 常量 ， 但 至 少 有 一 个 为 变量 。r N=, +, % <, >, > 之 一 。 
如 果 r 为 =， xi 了 都 为 未 赋值 的 变量 ， 则 按 单元 共享 策略 将 其 合并 为 同一 个 变量 
节点 , 并 检查 是 否 生 成 递增 圈 ， 进 行 可 能 的 不 等 式 图 精简 与 一 致 性 检查 。 若 新 的 节点 的 区 间 比 
Xx 或 的 区 间 有 所 减 小 , 则 沿 着 不 等 式 网 络 进行 区 间 传 播 。 如果 二 者 都 为 已 赋值 的 变量 或 常量 
则 判定 其 值 是 否 相等 ， 如 果 二 者 有 且 仅 有 一 个 未 赋值 的 变量 ， 若 另 一 个 自 变 量 的 值 落 在 该 变 
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量 的 域 中 ， 则 将 值 赋予 该 变量 
































并进 行 约束 传播 ， 否则 ， 报 告 不 一 致 性 。 











如 果 r 为 <， 若 x 与 了 都 为 已 赋值 的 变量 ， 则 判定 < 关系 是 否 成 立 ， 否则 ， 对 x 与 了 
的 区 间 进 行 一 致 性 限定 。 若 限定 的 结果 x 或 的 区 间 有 所 减 小 ， 则 沿 着 不 等 式 网 络 进行 区 间 








传播 。 如 果 二 者 都 为 未 赋值 
































进行 可 能 的 不 等 式 图 精简 与 一 致 性 检查 。 





的 变量 , 则 向 不 等 式 网 络 加 入 一 条 < 边 , 并 检查 是 否 生成 递增 疾 ， 






































Ere, WS x5 yA CUBAN, AE - 关系 是 否 成 立 。 


对 xX< xy Hrevsyil 


+ y), ys Xo 





RELA aS ROA (x < Y) ^ ay v s 9 ^ G 

















\ 等 式 推理 器 提供 对 任意 两 个 同类 型 变量 之 间 不 等 关系 与 大 小 关系 的 询问 ， 即 使 它们 未 















































赋值 。 这 种 将 符号 推理 与 




















理 代价 ， 更 重要 的 是 它 消 





























往 间 传播 结合 的 方法 ， 不 仅仅 是 将 不 等 关系 作为 内 部 谓词 而 减 小 推 
除了 宛 余 性 ， 降 低 了 问题 求解 的 规模 ， 而 且 作 为 一 个 一 般 的 不 等 式 
推理 器 ， 能 够 在 变量 未 赋值 甚至 未 加 区 间 限 制 的 情况 下 对 不 等 式 进行 符号 推理 。 例 如 ， 系 统 











能 够 检查 出 不 等 式 集合 


{x < y< 








z x > zh 











































































































应 用 。 通 过 实现 等 式 与 不 等 式 推 了 











In 











蕴涵 的 不 一 臻 性。 这 使 得 系统 具有 传播 序 关系 的 功能 。 这 种 功能 在 定性 推理 中 得 到 广泛 




















测试 ， 降 低 了 搜索 空间 。 











的 符号 操作 ， 从 而 增加 了 推理 的 深度 ， 避 免 了 更 多 的 生成 





3.11. 约束 推理 系统 COPS 








约束 推理 系统 的 一 个 主要 功能 是 为 用 户 提供 通用 而 有 效 的 约束 推理 机 制 。 该 种 推理 机 制 
要 克服 由 于 不 确定 性 所 引起 的 搜索 问题 。 约 束 传播 也 正 是 降低 不 确定 性 的 一 种 技术 。 从 语言 









































表示 上 ， 我 们 认为 应 当 将 不 确 


定性 ， 缩 小 搜索 空间 。 同 












































定 的 成 分 显 式 地 标识 出 来 ， 而 将 其 局 限于 数据 部 分 。 这 样 数据 
的 相关 性 成 为 可 识别 的 ， 数 据 域 是 可 操作 的 ， 从 而 可 以 使 用 约束 传播 与 智能 回溯 来 减少 不 确 













































































时 这 种 常规 结构 也 改善 了 代码 的 可 读 性 和 语言 的 易学 性 , 以 便 用 约束 
































传播 、 智 能 回溯 等 专门 的 搜索 技术 去 处 理 。 罗 和 辑 程序 设计 语言 Prolog 用 Horn 子 句 上 的 归结 




















证 明 法 这 种 试探 性 求解 技术 来 作为 统一 的 计算 机 制 ， 昌 然 形式 简单 优美 ， 但 实用 很 困难 。 
在 约束 推理 系统 COPS 中 ,约束 程序 设计 语言 COPS 将 面向 对 象 的 技术 、 池 得 程序 设计 、 







































































产生 式 系统 与 约束 表示 结合 起 来 ， 在 形式 上 吸收 了 面向 对 象 的 程序 设计 语言 的 基本 形式 ， 内 


部 求解 时 采用 约束 传播 和 启发 式 机 制 ， 



























































使 说 明 性 约束 表达 式 与 类 型 层次 相 结合 ， 实 现 结构 化 





的 知识 封装 [ 史 忠 植 1996] 。COPS 语言 具有 以 下 特点 : 











(1) 将 类 型 层次 与 约 
(2) 实现 默认 约束 














束 表 示 结 合 起 来 ; 
EB. 

















(3) 实现 条 件 约束 及 常规 程序 设计 的 其 它 成 分 ; 





(4) 实现 有 效 的 约束 推理 。 











1. 约束 与 规则 
约束 是 谓词 表达 式 : 
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P(t, PPS tn) 











其 中 t, 22 t 是 项 ， 典 型 情况 它 包含 变量 ; P 是 谓词 符号 , 谓词 可 以 是 内 部 函数 ， 如 sum, 





times, eq(equal), neq(not equal), ge(great than or equal to), gt(great than) ， 也 可 
以 由 用 户 定义 。 
条 件 约束 具有 下 面 的 形式 : 


















































if { 
conditioni: constrainti; 
conditionn: constraint, 
HH, condition, ... ， condition, 是 布尔 表达 式 。constrainti，...，constraint。 是 一 个 














约束 ， 或 者 是 一 个 具有 大 括号 { } 的 约束 表 。 
规则 用 来 定义 新 的 函数 、 方 法 、 谓 词 ， 或 者 可 以 将 约束 加 到 对 象 上 。 规 则 的 形式 是 
RULE [class::] 谓词 (变量 或 常量 表 ) (布尔 表达 式 ) 
{ 

































































约束 1; 


布尔 表达 式 1: 约束 1; 








布尔 表达 式 。 约束 ，; 
} 
例如 : 
RULE multiple(INTEGER: *x, INTEGER: y, INTEGER: z) (neq(y, 0)) 
{ 


equal (x, divide(z y)); 








定义 了 三 个 变量 yy, zZ 之 间 的 约束 关系 : zy o 
2. 类 定义 
在 COPS 系统 中 ， 问 题 领域 中 的 实体 被 定义 为 类 ， 实 体 的 内 部 属性 及 它们 之 间 的 关系 都 被 
封装 在 类 中 ， 多 个 具有 一 定 关 系 的 实体 又 可 封装 在 一 个 更 高 层次 的 类 中 。COPS 的 类 的 定义 与 
C++ 的 类 定义 很 相似 : 

CLASS [类 名 ][: 超 类 名 ] 



















































































// 属 性 定义 
数据 类 型 : 属性 名 ; 
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// 规 则 定义 
规则 名 ; 


// 函 数 定义 
FU; 


// 方 法 定义 
方法 名 ; 
} 
整个 COPS 程序 就 是 由 类 的 定义 和 规则 组 成 。 COPS 语言 保持 了 关系 式 说 明 型 语言 的 风格 ， 
同时 提供 类 、 方 法 等 面向 对 象 成 分 。 这 样 ， 既 增强 了 程序 设计 的 规范 性 与 灵活 性 , 又 提高 了 程 
序 的 易 用 性 和 可 读 性 。COPS 语言 可 以 使 用 户 集中 于 问题 本 身 的 描述 , 不 必 关 心 问 题 求解 的 细 
于 COPS 语言 成 分 与 常规 的 面向 对 象 语言 (C++) 非常 类 似 , 整个 描述 直观 、 清 晰 , 很 容易 
使 用 ， 而 且 可 以 充分 利用 类 的 封装 性 和 继承 机 制 进行 扩充 和 复 用 。COPS 系统 已 经 成 功 地 进行 
了 电路 的 模拟 。 
3. COPS 的 约束 推理 
在 COPS 系统 中 ， 约 束 推理 主要 依靠 产生 式 的 组 合 和 约束 传播 ， 也 具有 排序 条 件 重 写 系统 
(ranked conditional term-rewritting system), 利用 问题 求解 状态 信息 、 默 认 规则 和 假 
设 推理 、 分 区 传播 等 启发 式 特点 。 下 面 给 出 COPS 系统 的 核心 算法 。 
算法 3.9 COPS 系统 的 核心 算法 main-COPS。 
procedure main COPS 



































































































































di 



































































































































l. 调用 yace 分 析 程 序 ， 生 成 内 部 结构 ; 
2， 初 始 化 ; 
建立 COPS 常数 trueNode; 
全 局 变量 分 配 存 储 空间 ; 
3， 人 解释 具有 内 部 结构 的 程序 ; 
4. 对 尚未 求解 的 约束 和 变量 建立 约束 网 络 ; 
5. while 触发 约束 网 络 中 的 约束 

解释 触发 约束 . 






































} 
































上 述 算 法 中 的 yacc (Yet Another Compiler Compiler) 是 又 一 个 编译 程序 的 编译 程序 ， 它 
把 一 上 下 文 无 关 文 法 转换 为 一 种 简单 自动 机 的 一 组 表格 ， 该 自动 机 执行 一 个 LR 语法 分 析 程 
序 。 输 出 文件 为 y. tab. ce， 必 须 由 C 编译 程序 编译 ， 产 生 程序 yyparse。 该 程序 必须 与 词法 分 
析 程 序 yylex， 以 及 main 和 出 错 处 理 程序 yyerror 一 起 安装 。 
算法 中 的 解释 器 如 下 : 

Interpreter: 


{ 
















































































switch (constraint type) 
case Constant: 
return Constant: 


case global variable: 
88 
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interpre 

case 
interpre 

case object-a 
interpre 

case function call: 
interpre 

case method call: 


te global variable: 

local variable or argument: 

te local variable or argument: 
ttribute pair: 


te object-attribute pair: 


te function call: 


interprete method call: 


case CASE expression: 


interprete 
default: 
report error 


} 


CASE expression: 





COPS 系统 充分 利用 类 的 封装 性 和 继承 机 制 进行 扩充 和 复 用 ， 通 过 类 的 成 员 函 数 的 重 载 ， 











高 效 灵活 实现 约束 求解 。 我 们 还 可 以 通过 设计 新 的 求解 
方法 ， 改 进 原 有 系统 求解 策略 单一 的 弱点 。 目 前 ， 要 解决 的 主要 问题 是 在 不 同类 之 间 的 进行 


消息 传递 、 对 FP 如 何 避 免 组 合 爆 炸 。 今后 的 工作 打 



































享 变量 进行 值 传播 








和 一 致 性 维护 的 过 程 


























算 在 现 有 系统 的 基础 上 将 约束 技术 运 





题 ; 



































于 多 主体 系统 中 ， 解 决 多 主体 系统 


类 ， 在 COPS 系统 中 加 入 多 种 约束 求解 





















































将 约束 推理 应 用 了 





智能 决策 文 持 系统 中 的 多 目标 问题 求解 。 


3.12 ILOG Solver 


约束 程序 是 关于 约束 的 计算 系统 ， 它 的 输入 是 一 组 约束 条 们 
出 问题 的 解决 方案 。 
要 面 对 的 ， 就 是 如 何 把 问题 











至 


[^ ~ 





























述 为 














体 解决 问题 的 算法 等 都 是 约束 程序 设计 语言 
组 约束 构成 的 模型 ， 














的 协作 和 协商 问 


:和 和 需要 求解 的 若干 问题 ， 输 
的 基本 功能 。 


程序 员 所 



































而 描述 的 语言 可 以 很 接近 自然 语言 。 


如 果 把 问题 的 解决 方案 也 看 作 是 一 种 约束 ， 那 么 问题 的 求解 就 是 求 得 一 个 或 若干 个 约束 ， 他 
们 每 一 个 都 是 这 一 组 给 定 约束 的 充分 条 件 ， 也 就 是 说 ， 求 得 的 这 些 约束 ， 满 足 这 组 给 定 的 约 
束 。 于 是 ， 约 束 程序 设计 便 可 以 称 为 面向 约束 的 程序 设计 方法 。 

















ES 











优化 、 互 动 





ILOG 公司 是 法 














图 像 界 面 以 及 商业 规则 应 


























j 领域 的 软件 组 件 供应 商 ,成 立 于 

















1987 年 。 在 过 去 的 时 间 里 , ILOG 公司 不 断 进行 企业 软件 组 件 和 服务 的 开发 与 创新 ， 使 得 客户 


优化 了 业务 处 理 的 灵活 
应 商 使 用 ILOG 的 产品 。 随 着 中 国 经 济 的 飞速 发 








—= 


生 


























， 并 且 提 高 了 这 些 公司 的 运营 效率 。 超 过 1000 家 














景 ， 于 2002 年 8 月 设立 了 北京 代表 处 ， 统 领 包括 香港 、 























的 全 球 公司 和 300 
展 ，ILOG 公司 看 到 了 中 国 市 场 的 
澳门 、 台 湾 地 区 在 内 的 大 














约束 规划 是 基于 约束 规则 的 计算 机 系统 的 程序 ， 约 束 规 划 的 概念 是 描述 问题 的 约束 来 解决 问 











多 家 软件 供 
广阔 发 展 前 
中 华 区 市 场 。 
题 。 结 果 是 找到 让 所 有 的 约束 满意 的 方案 。 

















规划 调度 的 实施 的 关键 是 基于 约束 规则 ， 基 于 约束 自 





























动 的 调配 资源 ,优化 计划 , 来 达到 你 所 需要 的 计划 目标 。 对 离散 的 制造 行业 解决 复杂 的 加 工 过 程 如 


多 


ILOG Solver ÆRA EVE NA 
合 起 来 ， 包 含 逻 辑 变量 ， 


ZH 





1 


工序 ， 多 资源 等 ， 对 重复 式 或 流程 式 

















分 如 下 : 


variables : C++ object /* 变量 */ 





束 程序 
通过 增 量 式 约束 满足 和 














设计 语言 
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A rax 43 NV Ae RT pa] it EHETE CFlowshop 调度 )。 
， 他 将 面向 对 象 程序 设计 和 约束 逻辑 程序 设计 
回溯 实现 问题 求解 。ILOG Solver 中 主要 语言 成 
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用 基于 事 人 


integer variable CtIntVar 




















floating variable CtFloatVar 
boolean variable CtBoolVar 
Memory Management /* 存储 管理 */ 
new: 
delete: 
Constraints /* 约束 */ 
CtTell(x == (y + z)); 
Basic constraints: =,<,> , <, >, +, -, *, 4 subset, superset, union, intersection, 


member, boolean or, boolean and, boolean not, boolean xor, 


CtTell((x==0) || (y-—0)); 
CtlfThen (x < 100, x = x*1); 
Search /* 搜索 */ 


CTGOALn: how to execute 


2 
Schedule /* 调 


CtInt a = x->chooseValue(); 
CtOr(Constraint(x == a), 
CtAnd(Constraint(x != a), 
CtlInstantiate(x))); 


BE */ 


CtSchedule class 


Global object: time original ---tineMin 


time horizon ---timeMax 


Resources /* 资源 */CtResource 


CtDiscreteResource 


CtUnaryResource 


CtDiscreteEnergy 
CtStateResource 
Activities /* 工序 */ 
CtActivity class 
CtIntervalActivity 




















CTGOAL1(CtInstantiate, CtIntVar* x) { 


一 个 动作 被 定义 为 开始 时 间 、 结 束 时 间 、 时 间 跨 度 、 工 序 要 求 、 提 供 、 消 费 和 生产 资源 。 


约束 规划 的 开发 已 经 吸引 各 个 领域 的 专家 的 高 度 注意 ， 因 为 它 有 潜力 解 六 








。 无 论 我 们 是 用 》 





















































E 进 的 遗传 算法 ， 还 是 用 人 机 交互 式 的 仿真 方法 ， 

















标 优化 ， 大 规模 的 搜索 和 车 间 生 产 的 不 确定 性 的 问题 进一步 研究 
F 的 调度 方法 ， 即 至 少 一 个 资源 是 空闲 的 ， 二 个 或 多 个 了 


























现实 中 非常 难 
都 需要 对 制造 业 的 复杂 约 


的 问 
KR, 




















S 























适用 实际 需要 。 这 日 


[ 序 能 用 于 这 个 资源 ， 工 序 选择 


























l] OSR (Operation Selection Rule) 决定 那 一 个 工序 被 加 载 。 这 就 是 



































的 关键 因素 。 独 立 的 工序 选择 规则 详细 介绍 如 下 : 








(1) 最 
(2) 最 
(3) 最 
(4) 最 
(5) 最 





早 完成 日 期 :选择 最 早 完成 的 工序 (也 许 是 订单 
高 优先 级 第 一 : 选择 最 高 优先 级 (最 低 值 的 工序 
氏 优先 级 第 一 : ”选择 最 低 优 先 级 〈 最 高 值 ) 的 工序 
高 订单 属性 字段 : 选择 最 高 〈 最 大 ) M 
氏 订 单 属 性 字段 : 选择 最 低 (最 小 ) 订单 属性 字段 的 工序 
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完成 日 期 ) 


单 属性 字段 的 工序 


EAN 








好 坏 
































(6) 动态 最 高 订单 属性 字段 :选择 动态 最 高 (最 大 ) 订单 属性 字段 的 工序 


(7) SIS] E 
(8) TX ] 
(9) 关键 率 ， 选择 最 小 关键 率 的 工 
[ 作 时 间 / (完成 日 期 -当前 时 间 ) 
际 关键 率 ， 选择 最 小 实际 关键 率 的 工序 
实际 关键 率 = 剩余 实际 工作 时 间 /〔 完 成 日 
BD RAR A OH 
最 长 等 待 时 间 : 
最 短 等 待 时 间 : 
最 大 过 程 时 间 : 
最 小 过 程 时 间 : 


关键 率 = 科 


(10) 


(11) 
(12) 
(13) 
(14) 
(15) 
(16) 


(17) 























属性 字段 : 

















| 档案 订单 : 

















选择 订单 里 出 ] 

















岗 先 到 先 服务 的 工序 

















AN 
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计划 了 








Fo 
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选择 最 长 














AS): 选择 最 少 条 
SERE 
选择 最 短 等 待 时 间 的 
选择 最 大 过 程 时 间 的 工 
选择 最 小 过 程 




















期 -当前 时 间 ) 
I 余 工 序 时 间 的 工序 
时 间 的 工 























时 间 的 工序 





最 小 工序 闲散 时 间 : 选择 最 小 工序 闲散 时 间 的 工序 。 











订单 任务 的 








闲散 时 间 = 任 务 乘 





| 余 完成 时 间 -剩余 工作 时 间 








工序 闲散 时 


最 小 订单 闲散 时 间 : 选择 最 小 订单 任务 的 








间 = 任 务 闲 散 时间 / 完 成 任务 的 剩余 工序 数 














闲散 时 间 的 工序 

















选择 动态 最 低 〈 最 小 ) 订单 属性 字段 的 工序 


(18) 最 小 工作 剩余 : 选择 所 有 需要 完成 订单 的 最 小 剩余 过 程 时 间 的 工序 。 


资源 选择 规则 (Resource Selection Rule) 选择 工序 加 载 




















C1) 最 早 结束 时 间 : 选择 将 要 最 先 完成 工序 的 资源 


(20 最 早 开始 时 间 : 
(3) 最 迟 结束 时 间 : 














选择 将 要 最 先 开 始 工 序 的 资源 
选择 将 要 最 迟 完成 工序 的 资源 





(4) 与 前 工序 一 样 : 选择 被 用 于 前 一 工序 的 资源 


















































































































































































































































到 资源 组 内 的 哪 一 资源 。 
























































(5) 非 瓶 颈 最 早 开 始 时 间 : 选择 将 要 最 早 开 始 工序 的 非 瓶 颈 资 源 

相关 选择 规则 是 如 果 选 择 一 工序 选择 规则 ， 就 自动 的 选择 相应 的 资源 选择 规则 。 

(1) 系列 顺序 循环 ， 选择 同样 或 下 一 个 最 高 (最低) 系列 值 的 工序 。 当 没有 最 高 值 的 工 
序 ， 顺 序 将 相反 ， 选 择 最 低 的 工序 。 

(2) 系列 降 顺 序 : 选择 同样 或 下 一 个 最 低 系 列 值 的 工序 

(3) 系列 升 顺序 : 选择 同样 或 下 一 个 最 高 系列 值 的 工序 

(4) 最 小 准备 系列 : 选择 最 小 准备 时 间 及 最 近 的 系列 值 的 工序 。 

(5) 最 小 准备 时 间 : ”选择 最 小 准备 或 换 装 时 间 的 工序 

(6) 定时 区 的 系列 顺序 循环 ， 选择 同样 或 下 一 个 最 高 (最低) 系列 值 工序 。 且 只 考虑 在 
特定 的 时 区 里 的 订单 完成 日 期 里 的 工序 。 当 没 有 最 高 值 的 工序 ， 顺 序 将 相反 ， 选 择 最 低 的 
工序 。 

(7) 定时 区 的 系列 降 顺 序 ， 选 择 同样 或 下 一 个 最 低 系 列 值 工序 。 且 只 考虑 在 特定 的 时 区 
里 的 订单 完成 日 期 里 的 工序 。 

(8) 定时 区 的 系列 升 顺序 : 选择 同样 或 下 一 个 最 高 系列 值 工序 。 且 只 考虑 在 特定 的 时 
区 里 的 订单 完成 日 期 里 的 工序 。 

(9) 定时 区 的 最 小 准备 系列 : ”选择 最 小 准备 时 间 及 最 近 的 系列 值 的 工序 。 且 只 考虑 在 





特定 的 时 区 里 的 订单 完成 日 
定时 区 的 最 小 准备 时 间 : 


(10) 

















期 里 的 工序 。 





























区 里 的 订单 完成 日 期 里 的 工序 。 





下 面 以 房屋 装修 为 例 (图 3.1),， 采 


原理 。 假 定 











任务 开 


增加 9000 元 。 




















选择 最 小 准备 或 换 装 时 间 的 工 

















序 ， 














日 只 考虑 在 特定 的 时 





| ILOG Scheduler 给 出 规划 方案 ， 
台 每 天 的 开销 是 1000 75, 资金 总 额 为 20000。 到 工程 进行 到 第 15 天 ， 可 以 
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说 明 约 束 问 题 求 解 的 
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图 3.1 房屋 装修 工序 





| ILOG Scheduler 进行 规划 , 约束 程序 如 下 : 





CtSchedule * schedule = 

new CtSchedule(0, horizon); 
/ 创建 具有 给 定期 限 的 工序 . 
CtIntervalActivity* act = 




















new CtIntervalActivity(schedule, duration); 
// 规 定 工序 actl 和 act2 之 间 的 顺序 约束 . 
act2->startsA fterEnd(act1,0); 











/创建 有 限 资金 capacity 29000 的 总 预算 . 
CtDiscreteResource* res = 
new CtDiscreteResource(schedule, 
CtRequiredResource, 
capacity); 
/ 说 明 开 始 15 天 里 ,能 用 的 资金 cap 为 20000. 
res->setCapacityMax(0,date,cap); 














// 说 明 一 个 工序 act 消耗 的 资源 res 为 c 单位 . 
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act->consumes(res, c); 


CtBoolean IsUnScheduled(CtActivity* act) { 
/ 如 果 工 序 act 没有 固定 开始 时 间 则 返回 True. 
if (act->getStart Variable()->isBound()) 

return CtFalse; 




















else 
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gi "P [R] 


ILOG Scheduler 求解 , 得 到 


return CtTrue; 
} 
CtBoolean IsMoreUrgent(CtActivity* actl, 
CtActivity* act2) { 
/ WRIJF actl 比 act2 紧迫 ， 则 返回 true. 
/ 如 果 工 序 没有 限制 , 则 返回 true . 
if (act2 == 0) 
return CtTrue; 
else if (actl->getStartMax() < act2->getStartMax()) 
return CtTrue; 


























else 
return CtFalse; 


CtActivity* SelectActivity(CtSchedule* schedule) { 
// Returns the unscheduled activity with the smallest latest 
// statrt time. Returns 0 if all activities are scheduled. 
CtActivity* bestActivity = 0; 
//Creates an iterator to iterate on all activities. 
CtActivitylterator* iterator(schedule); 
CtActivity* newActivity; 
while(iterator.next(newactivity)) 

if((IsUnScheduled(newActivity)) 

&&  (IsMoreUgent(newActivity, bestActivity))) 
bestactivity = newActivity; 

return bestActivity; 


void SolveProblem(CtSchedule* schedule) f 


// Solve the problem assuming constraints have been posted. 
CtActivity* act = SelectActivity(schedule); 
while (act !=0) { 

act->setStartTime(act->getStartMin()); 

act = SelectActivity(schedule); 








DS 
a 








3.2 所 示 的 装修 工序 规划 图 。 
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.什么 是 约束 满足 问题 ? 约束 推理 可 以 分 为 哪 几 种 ? 
.什么 是 弧 一 致 怕 








图 3.2 房屋 装 


习题 


装修 工序 规划 图 























<- 

















， 试 用 程序 设计 语言 编写 基于 影响 的 回 跳 算 法 IBMD， 并 用 N 旺 后 问题 测试 ， 与 





法 进行 比较 。 





， 如 何 使 约束 推理 


E? 并 举例 说 明 它 的 非 对称 性 。 








青 给 出 约束 传播 AC 一 1 和 AC 一 3 算法 ， 并 比较 它们 的 异同 之 处 。 












































EE 系统 COPS 既 能 求解 符号 推理 问题 ， 又 能 求解 数值 问题 ? 




















j ILOG Solver 























语言 写 一 个 车 间 调 度 系统 。 
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他 约束 算 




















定性 














为 描述 ， 





第 四 革 ”定性 推理 


f (qualitative reasoni 


以 便 预测 系统 的 行为 并 给 出 原 




















ng) 是 从 
因 解 释 。 








物理 系统 、 











生命 系统 的 结构 描述 出 发 , 导出 行 

















定性 推 到 








IR 








j 系 统 部 件 间 的 局 部 结构 规则 来 




















解释 系统 行为 ， 即 部 件 状 态 的 变化 行为 只 与 直接 相 邻 的 部 件 有 关 。 


4.1 





1977 4 





[^^ 





概 


人 工 智能 的 定性 
如 动力 学 、 流 体力 学 、 热 流 等 问题 来 讨论 的 。1952 4 
Rieger 发 表 了 
杂志 第 24 卷 出 版 了 定性 推理 专辑 ,1 


Y^ 











EJ 








理论 起 源 了 


BY 
























































EE: 
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的 文章 , hy 


Dev 





Dn 


ice Behavior” 


着 定性 








理 
的 文章 





























的 看 
年 ， 
HEH 

















XH 














模型 


组 成 ， 约 束 条 件 


究 和 应 
“Artif 
黄 基 人 所 做 的 了 
系统 不 同 的 结构 
方法 [de Kleer 1984], 
[Kuipers 1984]. de Kleer 的 定性 模型 方法 所 涉及 的 物理 系统 是 由 管子 、 


在 这 些 装 置 的 连接 处 ， 依 定 怕 


























的 定性 进 











Kuipers 直接 月 
把 一 个 参量 随时 间 的 变化 视 作 定 物 
的 后 续 状态 ， 进 而 通过 一 致 特 E 

除了 上 面 这 三 种 基本 方法 外 ， 还 有 其 它 的 研究 工作 。 如 Davis 提出 从 结构 
发 进行 故障 诊断 的 方法 。Willia 





故障 论断 








程 方 法 





H 





的 方法 。Reiler $H 








定性 














BEJA, Weld 还 讨论 了 3 





| 起 着 


ficial 


-的 方法 用 于 定性 
旧 聚 类 方法 找 出 也 
连续 量 的 情 


Intelligence 


[ 作 。 





























(定性 方程 ) Ky 











[Iwasaki & Si 
EE 要 的 作用 , 使 定性 


XWH 





mmon 





现象 的 研 


九 ， 





s 1986] 

















推理 








2 A^ 
杂志 第 





FH 


述 ， 便 提出 了 不 同 的 定性 
Forbus 的 定性 进 和 





























mj 





AE 


, 
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EXT YE, 











理 相 结合 建立 了 一 个 混合 代数 系统 Q1, 
了 设计 方面 的 定性 推理 
EAA OY RR LI 
中 设计 了 定性 模拟 程序 


























四 
果 分 











因 
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的 参量 作为 状态 变量 来 


从 基本 原理 


析 ， 对 因 








早期 的 工作 常常 是 针对 一 物理 过 程 
E, Simmons HEH H 
因果 仿真 的 论文 [Rieger 1977] .1984 年 ,“Artifici 
HÆ f de Kleer, Forbus 和 Kuipers 
开始 走向 成 熟 。1986 Æ, Iwasaki 和 Simmons 发 表 了 “Causality in 
。 十 年 来 ， 这 些 基本 方法 对 定性 推理 
的 研究 成 为 人 工 
59 卷 又 发 表 了 一 组 文章 ， 回 顾 十 年 前 这 几 位 

















FE 分 析 的 
al Inte 
对 定性 


因果 关系 。 
lligence” 


EEO E 
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FP 富有 成 果 的 领 993 
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AC 
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推 


里 方法 。 常 用 的 有 de Kleer 的 














定性 





Ei 





Ji ik [For 





系统 的 变化 是 由 进程 引起 的 
































述 物 


里 结构 

















E 的 状态 序列 ， 求 解 算 法 是 从 初始 状态 出 发 ，9 
重复 这 过 程 直 到 没有 新 状态 















































况 。 


4.2 定性 推理 的 基本 方法 


人 类 对 








Af, 
够 了 。 





| 物理 1 


世界 的 描述 、 解 释 ， 


























He DRA 
具体 的 数值 描述 ， 如 人 们 在 骑 自 行车 时 ， 为 了 避免 摔 倒 和 撞车 ， 
而 是 针对 几 个 主要 参量 的 变化 趋势 给 予 粗略 的 、 直 观 的， 但 大 体 - 





并 讨论 了 它 的 代数 性 质 ， 他 还 月 
o Iwasaki 和 Simmons 把 经 济 学 、 热 力学 中 所 用 的 因 
果 关 系 给 








了 形式 化 定义 。Weld ESTA 
E 复 出 现 的 循环 ， 通 过 对 循环 的 分 析 确 


£j 
Ke 
DN. 


性 仿真 法 
器 等 
在 Forbus 


bus 1984]. Kuipers 
阀门 、 
方程 给 出 定性 解释 。 
个 物理 过 程 由 一 些 进 程 来 描述 。 
， 定 性 约束 直接 由 物理 规律 得 到 ， 
E 成 各 种 可 能 











b Enni 


装置 
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述 出 发 进行 
ms 把 定量 运算 和 
日 定性 方程 实现 
果 关 系 形式 化 特 
FE 物 学 


定 系 统 的 
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方法 进行 的 , 很 少 使 用 微分 方程 及 
并 不 需要 使 用 书本 上 的 运动 
上 准确 的 描述 ， 这 就 
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—R 
(1) 决定 描述 对 象 系统 特征 的 量 。 
(2) 用 方程 
(3) 分 析 方 
AXIS I SÉ 
(1) 步 又 (1) (2) mi ERR 
(2) 有 的 场合 对 象 系统 的 性 质 4 
(3) 步骤 (3) 得 到 了 数值 解 ， 但 





程式 ， 得 到 数值 解 。 




















if 运动 系统 行为 的 标准 过 程 


是 
EZ 





式 表 示 量 之 间 的 相互 关系 。 


行为 的 问题 用 计算 机 进行 求解 时 ， 将 面临 如 下 三 个 问题 : 
日 当 多 的 知识 ， 并 且 要 有 相应 的 算法 。 
Rx 示 




















任用 数学 式 子 表示 。 
对 象 系统 的 行为 并 不 直观 明了 。 

















为 了 解决 第 二 、 第 三 个 问题 ， 定 性 扒 











里 一 般 采 用 下 列 分 析 步 又 : 








(1) 结构 认识 :将 对 象 系统 
(2) 因果 分 析 : 当 输 入 值 变化 时 ， 
(3) 行为 推理 
(4) 功能 说 明 ; 
定性 推理 






































已 























: 输入 值 随 着 时 间 变 化 ， 
行为 推理 的 结果 表明 对 象 系统 的 行为 ， 
的 观点 大 体 上 可 这 样 来 理解 : 


分 解 成 部 件 的 组 合 。 








分 析 对 象 系统 中 怎样 传播 
分 析 对 象 系统 的 内 部 状态 怎样 

















o 



































* 忽略 被 描述 对 象 的 次 要 因 













































































素 ， 掌 握 主 要 





因素 简化 问题 的 描述 。 
























































变化 。 




































































































































































此 可 以 说 明 对 象 系统 的 功能 。 
































































































































这 些 装 置 的 连接 处 ， 依 定性 方程 给 出 定性 解释 。 


















































。 将 随时 间 上 连续 变化 的 参量 x(t) 的 值 域 离散 化 为 定性 值 集合 ， 通 常 变量 x 的 定性 值 
[x] EMA 
一 4x<0 
[x| 240. 当 x=0 
+ 当 x>0 
。 依 物理 规律 将 微分 方程 转换 成 定性 (代数 ) 方 程 ， 或 直接 依 物理 规 
律 建立 定性 模拟 或 给 出 定性 进程 描述 。 
。 最 后 给 出 定性 解释 
4.3 定性 模型 推理 
de Kleer 注意 到 符号 计算 和 推理 是 理解 人 们 周围 的 物理 世界 最 理想 的 工具 。1974 年 ， 
de Kleer 参加 了 为 期 半年 的 “混淆 研讨 会 (confusion seminar) ”会 上 讨论 了 一 系列 人 们 熟 
悉 而 义 令 人 困惑 的 问题 ， 如 反弹 球 、 滑 轮 、 钟 择 、 弹 得 等 问题 。 研 讨 会 的 目的 是 研究 人 类 思 
其 推理 的 过 程 ， 而 de Kleer 却 带 着 完全 不 同 的 课题 离开 研讨 会 。 他 发 现 对 于 大 多 数 例子 ， 传 
统 的 数学 、 物 理 公 式 都 没有 用 或 不 必要 ， 许 多 令 人 迷惑 的 问题 上 只 需 要 简单 的 定性 推理 ， 至 多 
只 用 一 两 个 极 简单 的 方程 就 可 得 到 令 人 满意 的 解 。 
deKleer 研究 解决 经 典 物理 问题 需要 哪些 知识 及 如 何 建立 问题 求解 系统 。 他 提出 的 定性 
模型 方法 所 涉及 的 物理 系统 是 由 管子 、 阀 门 、 容 器 等 装置 组 成 ， 约 束 条 件 ( 定 性 方程 ) 反映 在 











为 将 代数 方程 、 微 分 方程 定性 化 ， 首 先 需 定义 变量 的 定性 值 集合 以 及 相应 的 定性 运算 。 
定性 值 集合 是 一 个 离散 集合 ， 其 元 素 是 由 对 数 轴 的 划分 而 4 









































co) 划 分 成 〈 一 ,0) ，0, (0, <) 
Lx] an P 5E X: 
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三 段 ， 规 定 定性 值 集合 为 { 




















, 0, +} 
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A 入 
H 


H 


E 


H 





导 到 的 ， 通 常 把 数 轴 (— eo, 





x 的 定性 值 

















=. 当 x<0 


[x] 240. 当 x=0 
+ 当 x>0 


另外 用 07 表示 dx/dt 的 定性 值 ， 也 即 








| 以 @、@ 表 示 ， 可 按 下 述 定 义 : 





定性 值 的 加 、 乘 运算 分 


Hu 
un 








[x] ® [y] 














Hop: 符号 ? 表示 不 确定 或 无 定义 。 下 面 给 出 @ 和 e 的 运算 规则 。 设 e，e: 是 公式 ， 则 有 : 

















[0] e [e] [ei] 


[0] & [e] [0] 


[+] @ Leite] 











[-] @ [ei] -[el 





S 
m: 
+ 


使 用 下 列 规则 ， 可 将 运算 符 +、x 转 换 成 @、@: 





[eite] > lel e lel 


[exej] > [e] & Le] 












































由 这 些 运算 规则 不 难 将 通常 的 代数 方程 、 微 分 方程 化 成 定性 方程 。 由 定性 方程 给 出 解释 便 是 
进行 定性 推理 的 过 程 。 这 里 以 压力 调节 器 定性 分 析 为 例 ， 说 明定 性 模型 推理 的 方法 。 
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FJ] WT ERE 














BARC Mo AT EES 





























根据 一 致 性 、 连 续 性 等 物 到 











性 解释 ， 描 述 调节 器 有 三 个 特殊 的 状态 , 即 开 、 














OPEN 状态 


WORKING 状态 


CLOSED 状态 


除了 可 以 讨论 每 个 状态 内 的 定 1 























EF 筑 来 控制 阀门 流 





QA. 


2 P 2 cA Lo. 























以 使 流量 为 某 





fd 





p dP 





其 中 0 是 通过 阀门 的 流量 , P 是 压力 ，4 是 阀门 开启 
度 。 按 照 运算 和 转换 规则 而 得 到 定性 方程 : 














A A Anax 


O<A<Anax 


A=0 























的 ENVSION 系统 是 使 


4.4 定性 进程 推理 








约束 传播 























Forbus 提出 的 定性 进程 方法 把 物 
个 体 、 前 提 条 件 、 数 量 条 件 、 


出 一 些 可 用 的 进程 来 




































































(1) 组 织 原则 为 物理 i 
推理 时 ， 物 理 进程 非常 
























































(2) 用 顺序 关系 表示 数值 。 



































Ln 


面积 ， 而 C 是 常 系数 , p 是 流体 的 质量 

















00= ðA + OP (如 果 A > 0) 
规律 还 可 建立 有 关 的 定性 方程 。 
关 、 工 作 状 态 : 
定性 方程 [P] = 0 
定 4 [P] = 
定性 [Q] = 0 


生 分 析 还 可 讨论 各 状态 间 转 换 的 定性 分 析 。 














































































































产生 流动 ， 当 温度 到 达 某 一 界 值 时 会 发 生 相 








更 然 。 






































些 物理 进程 的 直接 或 间接 的 影响 。 进 程 本 体 论 为 定 














(3) 单一 机 制 假设 。 物 到 
















































































deKleer 建立 





改定 值 而 不 受 流入 的 流量 和 负 


En 
m 








便 可 得 出 定 
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(4) 组 合 的 定性 数学 。 人 们 进行 复杂 

















(5) 清晰 的 表示 及 关 了 
领域 理论 中 为 特定 系统 建 模 成 为 定性 物理 的 





















































个 物理 系统 的 变化 是 
理 进 程 方 法 的 基本 观点 。 下 面 介 


























1， 量 空间 




















































































































































































































(1) 时 间 由 区 间 表 > 
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与 生成 测试 方法 来 求解 定性 方程 。 
时 现象 视 作 由 一 些 相关 的 组 
BEOOR MENCA, MODAN CAER ese 
个 物理 过 程 。 定 性 进程 理论 中 有 关 定 性 物理 
。 本 体 论 在 知识 的 组 织 上 起 着 重要 时 系统 
V. ccn OB RAI rc 
重要 的 性 质 差别 常 由 比较 而 来 。 当 压力 和 温度 不 同时 
A4. EMER. A 套 序 数 关 系 表示 数值 
进程 被 看 作 是 产生 变化 的 机 制 。 这 样 ， 任 何 变化 必须 解释 为 基 
性 物理 理论 的 因果 性 打下 了 基础 。 
系统 推理 时 ， 合 用 部 分 信息 
F 模 型 化 假设 的 地 表示 某 些 特定 知识 的 适用 条 件 ， 并 从 
进程 引起 的 ， 一 个 物理 过 程 由 一 些 进 各 来 描述 ， 这 就 是 定性 推 
在 定性 进程 推理 中 的 量 空间 和 进程 的 描述 。 
:， 区 间 之 间 的 关系 有 前 、 后 、 相 等 。 两 个 区 间 可 以 相连 ， 瞬 闻 认 为 








是 极 短 的 区 间 ， 持 续 时 间 为 0。 

(2) 物体 的 参数 称 作 量 ， 量 由 其 数量 和 导数 组 成 。 
消 表示 数量 的 值 ， 涉 表示 数量 的 符号 。 

勾 表 示 数 量 导 数值 ， 久 表示 数量 导数 的 符号 。 
(WO) 表示 时 刻 t 量 & 的 值 。 
HAS-Quantity 是 谓词 ， 指 某 物 体 具 有 某 参数 。 


























































































































(3) 一 个 量 的 所 有 可 能 取 值 构成 量 空间 ， 量 空间 的 元 素 间 有 






































半 序 关系 。 





如 果 Q=f(Q) 是 单调 上 升 的 ， 说 Qi 与 @ 定性 成 正比 例 , 记 作 Q ccw Q@2。 如 果 Q= fA) 








2. 进程 

















是 单调 下 降 的 , 说 Q 与 Q 定性 成 反比 例 ， 记 作 Ql oce Qe 


个 物理 进程 P 由 一 组 个 体 、 一 组 前 提 条 件 、 一 组 数量 条 件 、 一 组 参数 关系 和 一 组 影响 























组 成 。 一 个 进程 的 具体 示例 称 作 进程 例 ， 用 PI 表示 。 




















所 谓 影响 ， 是 指 什么 能 引起 参数 的 变化 。 影 响 有 直接 影响 和 间接 影响 之 分 。 





















































时 刻 有 一 进程 影响 量 Q, 则 说 & 受 直接 影响 。 如 果 数 了 直接 影 
分 别 记 作 1+ m, 1—(Qm,1x(Qm. 4 4 是 其 它 量 











H | 
和 函数 时 ， 称 & 受 间接 影响 。 如 




















定性 成 比例 <。 就 是 间接 影响 。 进程 表 指 一 个 领域 可 能 出 现 的 












































在 进程 推理 方法 中 ， 一 个 物理 过 程 可 用 








些 进程 来 





























部 进程 。 


如 果 在 茶 一 
Hsu IE. fA. Ju, Bj 














以 热流 进程 为 例 说 明 该 方 

















法 的 工作 原理 。 


Process heat-flow. 
Individuals: 
src an object, Has-Quantity(src, heat) 
dst an object, Has-Quantity(dst, heat) 
path a heat-path, 
Heat-connection(path, src, dst) 
Preconclitions: 
Heat-Aligned (path) 
Quantity Conditions: 
A[temperature (src) ]> A[temperature (dst) ] 
Relations: 
Let flow-rate be a quantity 
A[flow-rate] > ZERO. 


flow-rate oce (temperature(src) -temperature (dst)) 


Influences: 
1l-(heat(src), Alflow-rate]) 


1+ (heat (dst), A[flow-rate]) 


3. 演绎 过 程 
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flow-rate (热流 量 ) 是 一 个 数量 
flow-rate 值 >0 


热流 进程 
一 组 个 体 
src 是 热源 

dst 是 受热 对 象 
path 是 热流 路 径 

将 src，dst 连结 起 来 
一 组 前 提 条 件 
热流 路 径 安排 好 
一 组 数量 条 件 
src 温度 高 于 dst 温度 
一 组 参量 关系 























flow-rate 5 src, dst 


的 温差 定性 成 比例 

一 组 影响 
flow-rate 的 值 直 接 影 响 
heat (src) , 而 且 是 负 影 响 
flow-rate 的 值 直 接 影 响 
heat (dst), 而 且 是 正 影 1 
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在 进程 定性 推理 中 ， 其 演绎 过 程 如 下 : 

(1) 选 进程 。 对 一 组 已 知 的 个 体 来 说 ， 在 进程 表 中 依 各 进程 对 个 体 的 说 明 找 出 可 能 出 现 

的 那些 进程 例 PI。 
(2) 确定 激活 的 PI。 依 前 提 条 件 、 数 量 条 件 确定 每 个 PI 的 状态 。 满 足 这 些 条 件 的 为 激 

活 的 PI ， 激 活 的 PI 叫 进程 结构 。 
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(3) 确定 量 的 变化 。 个 体 的 变化 由 相应 量 的 入 值 来 表示 。 量 的 变化 可 由 进程 直接 影响 ， 
也 可 由 cco 间 接 影响 。 


(4) 确定 进程 结构 变化 。 量 的 变化 将 会 引起 进程 结构 的 变化 , 确定 这 种 变化 也 叫 限制 分 析 ， 
这 样 对 一 个 物理 过 程 的 描述 便 由 。 (1) 建立 的 PI 进入 了 下 一 个 PI. 

重复 (1) 一 (4) 的 步 又 便 可 给 出 一 个 物理 过 程 的 一 串 进程 描述 。 

限制 分 析 是 依 D. 值 来 确定 量 在 量 空间 中 的 变化 。 首 先 在 量 空间 中 找 出 当前 值 的 相 邻 。 如 
果 相 邻 是 限制 点 ， 则 茶 些 进程 便 停 止 ， 某 些 进 程 开 始 。 与 限制 点 有 关 的 半 序 关系 的 所 有 可 能 
变化 确定 了 当前 激活 进程 的 变化 路 径 。 
这 里 以 锅炉 加 热 过 程 的 进程 描述 为 例 ， 说 明 进 程 方法 的 演绎 过 程 。 锅 炉 有 一 个 装 水 的 容 
器 ， 加 热 时 盖子 密封 ， 热 源 是 火 ， 假 设 热 源 的 温度 不 变 。 当 容器 内 压力 超过 p-burst (CAN) 
时 就 会 爆炸 。 































































































































































































































































































































































































(D PS: ( heat- flow) 


C D - 


Q LH:A [temperature ( WATER) ] LH: A[ temperature ( WATER) ] 
=A [temperature (SOURCE) ] = A[t- boil (WATER) | 
IS: (CAN, WATER} à IS: (CAN, WATER, STEAM) 
PS:( ) PS: ( heat -£low ,. boiling) 
(D LH:A [amount-of (WATER) ] (LH: A[ teraprature ( WATER) ] 
= ZERO < A[ t- boil ( WATER) ] 
IS: (CAN, STEAM) i ; IS: (CAN, WATER , STEAM} 
. PS: { heat- flow} PS: { heat- flow ) 
LH, A[ pressure (CAN) ] - LH: A[ temperature (STEAM) ] 
= A[p-burst (CAN) ] = A[ temperature (SOURCE) ] 
IS; (CAN, STEAM} IS: {CAN, STEAM} i 
PS: Explosion ! ; PS:() 


LH: A[ temperature (WATER)] | 
IS: (CAN, WATER, STEAM) 
“PS: {} i 


@ LH: A[ pressure (CAN) = A[ p- burst (CAN) ] 
IS: (CAN, WATER , STEAM) 
, PS: Explosion! 








图 4.1 锅炉 加 热 过 程 的 进程 描述 
图 4. 1 给 出 了 一 个 锅炉 加 热 过 程 的 进程 描述 ， 其 中 PS 是 进程 结构 , LH 是 限制 假设 (附加 
的 量 假设 )，IS 是 出 现 的 个 体 。 锅 炉 加 热 过 程 的 进程 解释 如 下 : 

从 @ 开 始 ， 进 程 结构 只 有 heat-flow (热流 ) 。 由 PS: (heat-flow) 可 导出 OM ©. © 
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是 水 温 与 热源 温度 相等 ， 这 时 heat-flow 进程 结束 。@@ 是 水 开始 沸腾 ， 由 ”heat-flow 和 
boiling 进程 描述 ， 这 时 可 发 生 四 ，@， 四 ，@@. (D 是 水 烧 干 了 ， 可 导 至 加 出 现 爆炸 进程 ， 
或 ”@@ 莱 汽 温 度 达到 热源 温度 而 结束 。G@O 是 水 沸腾 使 压力 上 升 ， 使 水 沸点 提高 ， 由 于 水 温 
(RPL REO. © 是 水 温 达 到 热源 温度 而 结束 。@ 容器 压力 过 高 , 用 进程 p-burst (CAN) 
述 ， 出 现 焊 炸 。 












































































































































4.5 定性 仿真 推理 




















1984 Œ Kuipers 发 表 了 “因果 性 的 常识 推理 : 从 结构 导出 行为 ”论文 。 这 篇 论文 建立 了 
一 种 定性 仿真 推理 的 框架 ， 简 单 地 给 出 了 从 常 微分 方程 的 抽象 而 得 的 定性 结构 和 定性 行为 表 
示 方 法 。 随 后 ，1986 年 AI 杂志 又 刊登 了 Kuipers“ 定 性 仿真 ”一 文 ， 文 中 明确 了 抽象 关系 ， 
提出 用 于 定性 仿真 的 QSIM 算法 ， 并 用 抽象 关系 证 明了 其 有 效 性 和 不 完备 性 。 这 两 篇 文章 英 定 
了 定性 仿真 的 基础 。 
定性 仿真 是 从 结构 的 定性 描述 出 发 来 导出 行为 描述 。 直 接 用 部 件 的 参量 作为 状态 变量 来 
述 物 理 结构 ， 定 性 约束 直接 由 物理 规律 得 到 ， 把 一 个 参量 随时 间 的 变化 视 作 定性 的 状态 序 
列 ， 求 解 算法 是 从 初始 状态 出 发 ， 生 成 各 种 可 能 的 后 续 状 态 ， 进 而 通过 一 致 性 过 滤 ， 重 复 该 
过 程 直到 没有 新 状态 出 现 。 

定性 仿真 结构 描述 由 系统 的 状态 参数 和 约束 关系 组 成 。 认 为 参数 是 时 间 的 可 微 函 数 ， 约 
束 是 参数 间 的 二 元 或 多 元 关系 。 如 速度 的 导数 是 加 速度 。 表 为 DERIV(Vel, acc). f = ma R 
Jj MULT (aa f), f Bü e EA MG 2), fo BE ARD, RIMED. 

行为 描述 关心 参量 的 变化 。 假 设 参量 rÆ la, b] 到 [一 <，c] 的 可 微 函数 。f 的 界 标 
值 是 一 个 有 限 集合 ， 至 少 含有 f(a), fh. RA {tlt € lab] ^ f(t) 是 界 标 值 } 的 
元 素 称 作 区 别 点 。 

定义 4.1 设 IKL- 《1 是 f: [a,b] 一 [-c，c] 的 界 标 值 , 对 任意 t+ € [a,b], £ Æ 
上 的 定性 状态 QS (5 人 力 规定 为 有 序 对 《qval，qdir>, 定义 如 下 : 



































































































































































































































































































































































































































L, WAS, = l; 
qvat = (Ll) ti Rf, € Ct.) 
inc WAF (0) > 0 


qdir = 4 std 如 果 f (t) = 0 
dec 如 果 f (t) <0 


定义 4.2 W t, ta BAM KA, BE f dE (C ti 内 的 定性 状态 SE t te) 
Ang 
QS C£, t) 其 中 te(t tin) (4. 1) 
定义 4.3 了 在 [a,bj 上 的 定性 行为 是 了 的 定性 状态 序列 QS C5 t), QS C5 te €), SE t), 
-—,QS(5 £t). HA (让 0, 1,---, 几 为 所 有 的 区 分 点 ， 且 6 € te, fi F= (f - f£), W 
的 定性 行为 是 





























QS(E t) = { OS, ti),--- Q8 C5, t)} (4. 2) 
QS G5 b tia) F { QS (£, ti, tia) 37775 QS C5, ti, tis) } (4. 3) 
其 中 ti 是 fi, LUN fi 区 分 点 并 集 的 元 素 o 
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4.5.1 定性 状态 转换 

















在 定性 























出 转换 表 : 


\begin {tabular} {1] 





仿真 
到 男 一 个 定性 状态 
类 转换 是 从 时 间 点 





至 


& QS$(f,t i,t | 


Il & $41 j, 
I2 & $«(1.j 
I3& 00» 
I4 & $«(1 j, 1 
I5 & $<(1_j, 1 
I6 & $«(1 j 
PES j,] 
18 & $«(1 j, 1 
I9 & $«(1 j, 1 





























4. 5. 2 QSIM 算法 
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QSIM 算法 可 对 系统 的 行为 进行 定性 仿真 。 
(1) 一 (6) 直至 ACTIVE 
算法 4.1 QSIM 算法 。 
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ED 


»d 


»d 


»d 


»d 


(iT Te] 





P 转换 QSC5 t) 









































H 中 IU 标 值 ， Ij <I J +10 














表 空 为 止 。 





























=> QS(F ts tin) 
Pl <1, std» = <l,std> 
P2 <1, std> — € la), ine> 
P3 (15 std? => <(Z-, 1), dec> 
P4 <1, inc? — € la), ine> 
P5 < (1, la), ino = <1, La), inc> 
P6 <1, dec? => €, 1), dec> 
P7 <(L, Le), dec> => 《(7 L), dec? 
I 转换 QSC ty tra) => QS(E tin) 
Il <1; std» = <1, std 
I2 <l; La ine = <li, std> 
13 《(7 led, inc> = <la, inc> 
I4 Cl Laine? = <l; Laine? 
I5 < (1, lia), dec> = <1, std> 
16 <(1, li, dec> = <1; dec> 
I7 <(1, lia), dec> = <(L, 14), dec? 
I8 <(1,1«),ine> = 《7 std> 
19 < (1, la), dec> = <i’, std 
1} 
i+1}) \Rightarrow$ & QS$(f,t {it1})$\\ 
td>$ & $<1 j, std>$ NN 
1 {jtl}),ine>$ &  $<1_{j+1}, std>$ \\ 
_{j+1}), inc>$ & $«1 (j*l),ine?$ NN 
_{jtl}), inc>$ & $«(0 j 1 {j+1}), inc>$\\ 
—{jt1}), dec>$ & $«1 j,std»$ \\ 
1 {j+1}), dec>$ & $41 i,dec^$ NN 
_{jtl}),dec>$ & $«(0 j41 {j+1}), dec>$ \\ 
—{jtl}), ined$ & $<] *, std>$ NN 
 ij41),dec$ &  $41^*,std»$ NN 


首先 将 初始 状态 送 入 ACTIVE KY 
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FP， 定性 状态 转移 是 经 常 遇 到 的 。 假 设 f 是 可 微 函 数 , 了 从 一 个 定性 状态 转换 
必须 遵守 介 值 定理 和 中 值 定理 。 定 性 状态 转换 有 两 类 : 一 类 是 P 转换 ， 该 
区 间 ; 男 一 类 是 I 转换 ， 它 是 从 时 间 区 间 到 时 间 点 的 转换 。 下 面 给 








PF， 然后 重复 


(1) 从 ACTIVE 表 中 选 一 状态 。 
(2) 对 每 个 参数 按 转 换 表 找 出 所 有 可 能 的 转换 。 
(3 “对 约束 中 变 元 的 转换 生成 二 元 组 ， 三 元 组 集合 ， 依 约束 关系 做 一 致 性 滤波 。 
(4) 对 有 公共 变 元 的 约束 ， 对 元 组 进行 组 对 ， 再 对 组 对 的 元 组 做 一 致 性 滤波 。 
(5) “从 剩 下 的 元 组 生成 所 有 可 能 的 全 局 解释 。 每 个 解释 生成 一 个 新 状态 作为 当前 状态 的 
后 继 状态 。 
(6) 对 新 状态 做 全 局 滤波 ， 剩 下 的 状态 送 入 ACTIVE 表 。 全 局 滤波 排除 下 列 状态 : 
。 无 变化 情形 : 如 Il, 14, IT; 
。 循环 情形 : 新 状态 与 某 个 前 辈 状 态 相 同 ; 
。 发 散 情 形 : 某 参 数值 为 ce“， 这 时 当前 时 间 点 必 为 结束 点 。 
这 里 以 上 抛 球 运 动 过 程 的 定性 模拟 为 例 来 说 明 QSIM 算法 。 设 球 的 高 度 为 V2 速度 为 OS, 
加 速度 为 4。 
己 知 约束 关系 为 : DERIV (万 V) 
DERIV (V, A) 
A(t) — 0 
初 状态 (to, t) ERR] E32] : 
QS (A, to t) =<g, std» 
QS V, to, t) =< (0, ©), dec? 
QS CF, to, t) =< (0, ©), inc? 
对 每 个 参数 做 各 种 可 能 的 转换 ， 当 前 处 于 时 间 区 间 上 ， 所 以 需 使 用 Ide: 
A Il 《8 std» => <g, std 
























































































































































V I5 <(0,œ),dec> = 《0, std> 
I6 <(0,œ),dec> = 《0, dec> 
I7 <(0,œ),dec> = <(0,œ),dec> 
I9 <(0,œ),dec> => <Č std 

Y I4 <(0,%),inc> = <(0,œ),inc> 
I8 <(0,%),inc> => <Č, std 














下 面 对 约 束 形成 元 组 集合 ， 先 对 单个 约束 做 一 致 性 滤波 ， 滤 掉 的 以 C 表示， 然后 对 元 组 
做 组 对 再 做 一 致 性 滤波 ， 滤 掉 的 以 Won. 
根据 DERIV(Y, V) 组 对 : 



































(14, I5) C (I8, I5) W 
(14, I6) C (I8, I6) 

(14, I7) (I8, I7) C 
(14, I9) W (I8, I9) C 


根据 DERIV(V A 组 对 : 
(I5, I1) C (17, I1) 
(16, 11) (19, I1) C 


























其 中 如 元 组 (I4, I5) rh, 14 使 了 的 定性 状态 变 为 《(0, 99), inc>， 而 I5 fi V 的 定性 状态 
变 为 《0, std>， 这 与 约束 DERIV(L 万 不 一 致 ， 于 是 (14, 15) 被 过 滤 掉 了 。 又 元 组 (14, 19) 
中 的 19 和 元 组 (19,11) 中 的 I9 都 是 对 了 的 转换 , 由 于 (9, 11) 已 被 过 滤 掉 了 ， 所 以 导致 
(14, 19) 被 滤 掉 。 
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对 剩 下 的 元 组 形成 两 个 全 局 解释 如 下 : 





K V A 
I4 I7 I1 
I8 I6 Il 








第 一 个 解释 为 无 变化 ， 被 滤 掉 。 第 二 个 解释 是 唯 
QS (A, t) =<g, std» 

QS (VK ti) =<0, dec? 

QSCEZ, £j) =< Fan std»? 

其 中 J。 是 新 的 界 标 值 。 


4.6 代数 方法 
































的 后 继 状 态 。 这 时 


Williams 建立 了 一 个 定性 定量 相 结合 的 混合 代数 ， 实 现 了 相应 的 符号 代数 程序 MINIMA, 














用 来 解决 一 类 物理 问题 的 设计 。 
这 个 代数 系统 是 定义 在 实数 R 和 符号 S = 


有 定性 算 子 [ ]。 交 换 律 、 




















从 而 : 
Hseu-teu GAH s= t 
Hsertu GAL s =u 06 
这 个 系统 可 用 来 进行 设计 。 例 如 ， 已 知 一 个 








‘Exe MACSYMA 的 一 种 定性 模拟 ， 为 化 简 、 分 解 、 组 合 定性 方程 提供 了 工具 。 这 个 代数 系数 可 








{+, 0? 之 上 的 。 允 许 在 下 上 做 定量 运算 ， 
也 允许 在 S 上 做 定性 运算 。 如 可 在 R 上 运行 +，-， 











X, /5 可 在 S? 上 进行 申 ， o, e, o, jf 








结合 律 、 分 配 律 都 成 立 ， 只 是 [S',e,e] 上 对 @ KARANT. 





























设计 一 个 装置 以 便 能 自动 改变 瓶 箱 液 面 高 度 ， 使 得 当 瓶 液 面 高 # 下 降 时 可 从 箱 


补充 。 这 个 设计 过 程 可 这 样 来 直观 地 设想 : 
瓶 中 液 面 高 A, 的 升降 | 



























































SEMAINES Hi 


























有 





行 打 取 的 饮料 瓶 和 一 个 饮料 储存 箱 。 要 求 











比例 ， 也 即 压 力 由 高 度 决定 。 要 求 瓶 中 压力 相对 箱 中 压力 下 降 时 ， 就 有 
瓶 箱 间 加 一 条 管子 来 实现 。 这 个 设计 的 推理 过 程 不 只 涉 及 具体 
些 地 方 需要 精 有 








得 到 饮料 的 








流入 流出 的 饮料 流量 @ 所 决定 ， 容 器 底部 压力 P 和 饮料 密度 成 
































1 箱 ! 





饮料 Fi ATH o 









































的 关系 而 不 仅 是 简单 的 符号 关系 。 

















数值 ， 也 不 只 涉及 定性 的 符号 值 ， 
可 用 记述 的 混合 代数 来 描述 


T d 
Hr H -H => —H 
不 v b » n 









































Hox A= Ve RRRA, X 


b= Vs / A 





Bs EE) 


b 
Hog pc i 
v b dt b b 
d 
Ho cuo Cr» e [As] 
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E 演 这 个 问题 ，MI 


























IMA 系统 可 自动 处 理 这 个 设计 问题 : 





饮料 体积 为 截面 乘 以 高 
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[A] = [4] 
(ae ee a 
dt 
Q = ay 
dt 
LA, 1] = [4] 


P=dx gx HH, 
H= PA( dx g 
[Bids ey = 
P=adx gx =, 
M=P,/(dx g) 


[d] = [+] 
[g] = [+] 








[Pv - Pb] = [@] 
最 后 这 个 表达 式 ， 
瓶 与 饮料 箱 连结 起 来 。 














容器 模型 ， 箱 中 饮料 一 点 的 压力 是 密度 与 重力 加 速度 、 高 度 的 乘积 

















) 





A) = [Q) 
容器 模型 


[A /(d x g)- B/(dx e)] = [al 


[Pv - Pb] e ([d] x [g]) = [4] 


饮料 性 质 
重力 性 质 


[Pv - Pb] e ([*] e [+]) = [&] 
































正 是 一 根 管子 两 端 压力 与 流量 间 的 关系 。 从 而 只 需 用 一 根 管子 把 饮料 








4.7 几何 空间 定性 推理 
































空间 定性 推理 是 对 几何 形状 或 者 运动 性 质 进行 定性 推理 ， 首 先 需 对 空间 位 置 及 运动 方式 












































进行 定性 表示 ， 进 而 对 几何 形状 及 运动 性 质 进行 推理 研究 及 预测 分 析 ， 并 作出 逻辑 解释 。 空 














间 定 性 推理 是 通过 定义 一 组 空间 并 寻找 这 些 关 系 间 的 联系 来 进行 的 。 目 前 主要 的 研究 是 针对 























空间 定性 建 模 方式 、 空间 形状 及 关系 的 定性 表示 和 定性 技术 的 形式 化 等 ， 产 生 解 释 理 论 ， 但 





总 体 来 看 与 解决 工程 问 














URBEM. Hag, Tf Allen 的 时 态 逻 辑 [Allen 1984] 5 Randall 的 


TEE [Randall 1992] 结 合 起 来 ， 形 成 空间 、 时 间 、 连 续 运 动 的 表达 逻辑 。 





分 布设 计 ， 有 关 方 法 主 





另外 从 空间 定性 推理 派生 出 空间 规划 理论 ， 可 用 于 为 一 组 几何 对 象 寻 找 满 足 一 组 约束 的 











要 用 于 设计 自动 化 、 定 性 建 模 等 领域 。 在 这 一 领域 已 取得 了 一 些 较 有 

















实际 意义 的 成 果 ， 如 约束 满足 问题 (CSP) 求解 理论 ， 而 实际 上 很 多 空间 定性 规划 都 是 一 个 儿 


何 约束 满足 问题 (GCSP) 


4.7.1 空间 逻辑 








o 

















对 空间 几何 形体 及 其 运动 进行 几何 仿真 的 主要 任务 是 对 其 可 能 状态 进行 展望 


(Envisionment). Tis 












































“展望 “是 指 对 系统 建 模 并 产生 其 可 能 状态 的 生成 树 。 展 望 可 分 为 两 类 ， 











完整 的 (total) 与 可 达 的 (attainable) 。 可 达 性 展望 是 对 建 模 系统 从 某 一 些 特殊 状态 开始 建立 











内 可 能 状态 生成 树 ; 而 
1992 年 由 Randell 
































完整 性 的 展望 可 以 产生 系统 的 全 部 可 能 状态 [Cui 1992]。 
等 人 建立 起 来 的 RCC 空间 时 间 逻 辑 是 用 于 对 空间 问题 进行 可 达 性 的 展 
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望 ， 并 已 程序 实现 。 与 Kuipers 的 OSIM 方法 类 似 ， 基 于 RCC 逻辑 的 仿真 算法 也 是 从 对 系统 进 


行 结构 怕 























所 到 叶 结 点 的 路 径 。 


(regiong)， 谓 词 C 表示 共享 





25 [8] 3 5t BH Sk fih 


























在 了 


假设 











1， 八 个 基本 关系 的 定义 











个 以 





的 描述 开始 的 ， 系 统 将 初始 状态 作为 生成 树 的 根 结 点 ， 可 能 的 行为 则 是 树 中 从 根 结 


个 原 语 性 的 三 元 关系 COE y) 




















X, Y RW PCR 




















d 
































点 。 也 就 是 指 相 接触 , 它 具 有 





反 性 、 对 称 性 。 

















使 用 关系 CO 妃 ， 一 组 基本 的 二 元 关系 可 以 被 定义 为 : 




















(1) DC(% 力 : 表示 两 区 域 不 相 接 触 。 

(2) ECx y): 表示 两 区 域外 部 接触 。 

(3) POC, y): 表示 两 区 域 部 分 覆盖 。 

(4) =(yy): ”表示 两 区 域 完全 相同 。 

(5) TPP (x,y): 表示 $x$ 是 $y$ 的 一 个 严格 部 分 并 且 $x, y$ 相 切 (内 切 ) 。 

(6) NTPP (x, y): 表示 $x$ 是 $y$ 的 一 个 严格 部 分 但 $x, y$ 不 相 接 触 ( 包 含 而 不 相 切 ) 。 

(7) TPP (x D: 表示 $y$ 是 $x$ 的 一 个 严格 部 分 并 且 $x, y$ 相 切 。 

(8 TPP (x y): 表示 $y$ 是 $x$ 的 一 个 严格 部 分 但 $x, y$ 不 相 切 接触 。 

这 八 个 关系 的 定义 可 以 通过 C Gc, 办 以 及 一 些 辅助 性 的 描述 函数 来 构造 ， 其 中 使 用 了 一 些 

























































































过 渡 性 的 状态 谓词 如 P(% y) (表示 部 分 属于 )，PP (% y) (表示 严格 部 分 属于 ) ，0(% y) Gem 


im) 等 
tit.) SF o 


这 一 表 对 定性 仿真 是 很 有 
Randel] 提 到 在 
男 外 还 需 提 3 


2. 基本 关系 


这 种 空间 逻辑 与 Allen 的 逻辑 相 类 似 ， 也 
能 的 变化 联系 ， 在 表 中 从 人 


间 的 联系 











用 的 。 























TH 
p 


F 一 关系 Ra(a, e) 可 查找 出 所 有 可 能 的 二 元 关系 Ca, D) 5 RB, c). 

















预计 算 的 传递 性 表 来 表示 二 元 关系 之 间 可 


























然而 , UAE HIE 



































时 刻 占据 的 几何 


化 运算 ， 可 在 不 产生 收 义 时 直 


ERE 





(2), 
体现 。 
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H 














B 几何 体 与 儿 





KIRN space (x, 


HJ 


区 域 间 的 联系 





H 


仿真 程序 中 使 用 了 该 表 来 检验 展望 过 程 中 状态 








中 尚未 给 出 这 类 传递 性 表 的 建立 算法 。 但 








述 的 一 致 性 。 





























JAZ space (x, ORR, 它 表示 几何 体 x 在 t 





人 ,不 考虑 时 间 时 ， 


参数 i 被 略 去 ， 通 常 在 考虑 问题 中 , 为 了 简 











接 





3. 基本 状态 间 的 相互 转换 












































变量 x 表示 几 


H 








TAS 了 所 占据 的 几何 区 域 。 























区 域 形 状 完全 相同 ， 那 么 它们 在 空间 存 





况 。 而 如 果 有 半径 相同 的 一 个 球体 与 一 个 半球 体 ， 那 
























































(3) 再 














这 村 





值得 注意 的 是 第 (3) 子 集 、 


第 





J 





到 (4), (5) 最 后 到 (6) 是 两 个 几何 


FH 











SEA RADE 








AMDF N M? 





根据 两 个 区 域 的 形状 不 同 , 上 述 八 个 基本 关系 可 被 分 为 6 个子 集 : 
(1) DC EC PO = 

(2) DC EC PO TPP 

(3) DC EC PO TPP” 

(4) DC EC PO TPP NTPP 

(5) DC EC PO TPP’ NTPP” 

(6) DC EC PO 

这 六 个 子 集 的 划分 可 以 这 样 理 解 : 如 果 两 个 几何 
只 能 是 第 (1) 子 集 所 列举 的 四 种 情 

们 之 间 的 关系 只 能 是 第 (2) 子 集 所 列举 的 情况 。 
FE 空间 就 只 能 是 第 (6) 子 集 的 三 种 情况 。 


(5) 子 集 分 别 是 第 (2) 、(4) 子 集 的 反 集 ， 即 如 果 xy 是 两 个 
空间 区 域 , 它们 的 形状 决定 它们 之 间 可 能 的 关系 RG y PE EX 
我 们 考虑 关系 RE WIN, 所 得 到 的 集合 就 是 第 (3) 子 集 。 








的 集合 就 是 第 (2) 子 集 , 那么 当 




















所 以 我 们 可 以 这 样 认为 :从 (1) 到 





区 域 的 形状 之 间 的 关系 从 特殊 向 一 般 变化 的 一 种 





F 就 可 以 得 到 两 个 形状 不 变 的 区 域 在 空间 运动 而 使 它们 之 间 的 关系 产生 变化 , 其 变化 
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只 限于 以 下 四 种 序列 : 


(1) DC — EC - 


>PO— = 





(2) DC — EC — PO — TPP(TPP’) 





(3) DC 一 EC 一 


(4 DC — EC 


PO — TPP(TPP) — NTPP(NTPP ) 


— PO 


4.7.2 空间 时 间 关 系 描 述 
1. 方 位 性 状态 和 运动 性 状态 


Galton 将 八 个 


RCC 关系 分 为 方位 性 状态 (position state) 和 运动 性 状态 motion 








state), HHEH Allen 关于 时 间 关系 的 一 些 逻 得 化 的 形式 ， 给 出 了 这 种 分 类 的 定义 。 首 先 
介绍 一 下 Galton 使 用 的 概念 、 谓 词 和 函数 。 
(1) 对 时 间 的 描述 分 为 区 间 和 时 刻 ; 


yn 





LL eS s 在 
性 质 的 状态 称 为 方位 ; 





























(2) 状态 存在 的 











述 谓词 

















Holds-on(s, 7) 表示 在 区 间 了 上 上 存在 状态 s; 
Holds-at(s, f) 表示 在 时 刻 t 存在 状态 s; 





(3) 谓词 Div(r, 7) 表示 时 刻 上 在 区 间 了 工 上 ; 











(4) 函数 inf (2) 
(5) PAZ sup (7) 
































表示 在 区 间 7 的 开始 时 刻 ; 
表示 在 区 间 7 的 结束 时 刻 ; 
































定义 4.4 Jpn 


状态 。 如 果 状 态 s 满足 





Vi (Holds-on(s, 7)) —Holds-at (s, inf (7)) A Holds-at(s, sup (7) ) 



































时 间 区 间 7 上 存在 ， 则 在 该 区 间 的 起 止 时 刻 这 个 状态 都 存在 。 具 有 这 











生 状 态 。 





定义 4.5 lash 


状态 。 如 果 状 态 s 满足 


Vt (Holds-on(s, 0) 一 37 (Div(£, Ò ^A Holds-on(s, 7))) 


BI br ARE ACHSE Zl 

















t 有 状态 s， 那 么 一 定 存在 包含 这 一 时 刻 的 某 一 区 间 使 $s$ 在 整个 区 间 都 





存在 ， 具 有 这 一 性 质 的 状态 称 为 运动 性 状态 。 
这 样 ， 前 面 八 个 基本 关系 可 分 为 两 类 : 
方位 性 状态 : EC, =, TPP, TPP” 

运动 性 状态 : DC, PO, NTPP, NTPP' 


























这 两 类 状态 可 以 通过 它们 的 表现 形式 加 以 区 分 : 方位 性 状态 是 有 “临界 ” 的 














2. 扰动 原理 


Galton 根据 这 种 分 类 给 出 了 扰动 原理 ， 这 是 对 空间 状态 在 时 域 变化 进行 描述 的 一 组 公理 


体系 : 
定义 4.5 Èz) (perturbation). WR RCC 关系 P5 兄 满 足 条 件 : 


jt (Holds-at (R( 











性 质 ， 而 运动 性 状态 具有 “稳定 ”的 性 质 。 
























































a, b), t) ^(3i(Holds-on(R (a, b), Ò) ACinf(M=OV (sup( 站 = 力 )))) 
107 


ww ai bbt. com [1 BB DL O D D 





即 如 果 时 刻 t+ 有 状态 S 且 有 一 个 区 间 7 开始 或 结束 于 t KA Z 上 的 状态 为 R 。 此 时 称 R 与 R 

互 为 扰动 。 

扰动 原理 : 每 个 RCC 关系 是 它 自 身 的 扰动 ， 男 外 一 个 静止 性 的 状态 只 能 与 一 个 运动 性 的 

状态 互 扰动 ， 反 之 亦 然 ( 只 讨论 刚体 ) 。 
设 R 为 一 个 RCC 状态 , 局 , 局 …, 忆 为 的 所 有 扰动 ， 然 后 根据 扰动 原理 有 以 下 6 条 公理 : 


(Al) Holds-on(R(a, D), Ò — v;, Holds-at(fR(a, D), sup(7)); 
















































































(A2) Holds-on(R(a, b), Ò — v;, Holds-at (2; (a, b), inf (2) ; 
(A3) Holds-at (R(a, b), t) >3t v;, Holds-on (Æ; (a, D), (t, t’)); 


(A4) Holds-at (R(a, b), t) >3t v;, Holds-on (Æ; (a, b), (t, 0) ; 











(A5) Holds-on(s, (t; t2) A^-Holds-at(s, ts) ^ te €t» —3Ht Holds-on(s, t, ©) A 


Vi (t< t! —^-Holds-on(s, (t, t’)))); 


(A6) Holds-on(s, (tz, ts)) ^-Holds-at(s, t) ^t; Xtz^3t Holds-on(s, (t, t3) AV t 


(t < t 2-Holds-on(s, (t^, t)))). 

















公理 (A1), (A2)， 表 明 如 果 在 时 间 区 间 z 上 有 关系 R 则 在 这 一 区 间 的 起 止 时 刻 必 有 一 个 
的 扰动 关系 存在 。 

公理 (A3), (A4) 表明， 如 果 t 时 刻 有 关系 足 则 必 存 在 ti +s 时 刻 ,使 (tj SO € 
上 分 别 有 一 个 〖 的 扰动 关系 存在 。 

公理 (A5), (A6) 表明 如 果 在 区 间 (t, t) EARS s， 而 ts 时 刻 不 再 有 , 则 在 (ts t) (ts t2 
或 (ts t) (ts t) 上 必 有 一 时 刻 tfl s 状 态 发 生 突变 。 















































4.7.3 空间 和 时 间 逻 辑 的 应 用 


























上 述 公理 系统 可 用 于 对 空间 形体 之 间 关 系 的 推理 。 例 如 ， 当 知道 在 c 时 刻 有 DC(a D, 
而 在 te IZUMI PO(a, D, H. t € 妈 则 必 可 推 得 在 ( 刀 t) EA t, EC(a, D, BH 

































































Holds-at (DC (a, D), t) AHolds-at (PO (a, D), t) AtK te 一 


jt (div(£, t, t) ) AHolds-at (EC (a, b), ©) 


这 些 理论 也 可 用 于 进行 事件 的 描述 与 推理 。 引 入 谓词 : 
Occurs-at (7, t 表示 事件 7 发 生 于 时 刻 t; 
Occurs-on (7, 1) 表示 事件 7 发 生 于 时 刻 i; 
函数 Trans (R, 大 表示 状态 兄 变 为 尼 这 样 一 个 事件 。 
两 个 谓词 将 事件 与 时 间 相 联系 ， 函 数 Trans 在 状态 与 事件 之 间 建 立 了 映射 关系 。 Galton 

将 事件 分 为 7 种 : 
(1) 吕 为 方位 性 状态 ， 兄 为 运动 性 状态 ， 兄 为 吕 的 扰动 ; 
(2) 忆 为 运动 性 状态 ， 尼 为 方位 性 状态 ， 尼 为 忆 的 扰动 ; 
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(3) RAG 包 是 有 共同 扰动 局 的 运动 性 状态 ; 

(4) RAG 尼 是 无 共同 扰动 的 运动 性 状态 ; 

(5) RE 用 都 是 方位 性 状态 ; 

(6) 兄 为 方位 性 状态 ， 兄 为 运动 性 状态 ， 但 互 不 为 扰动 ; 

(7) 忆 为 运动 性 状态 ， 记 为 方位 性 状态 ， 但 互 不 为 扰动 。 

每 种 情况 事件 发 生 的 条 件 都 可 以 用 以 上 介绍 的 逻辑 加 以 描述 。 实 际 上 这 7 种 情况 中 第 
(1) (2) 种 只 能 是 瞬时 性 的 ， 即 发 生 于 某 一 时 刻 ， 第 (4) (5) (6) (7) 只 能 是 持续 性 的 , 即 发 生 于 
某 一 区 间 ， 而 第 (3) 种 情况 即 可 能 是 瞬时 性 的 又 可 能 是 区 间 性 的 。 关 于 事件 的 产生 与 条 件 ， 在 
[Galton，1993] 中 给 出 了 详细 的 讨论 。 


El 























El 
















































































4. 1. 4 Randell 算法 





Randell 的 仿真 程序 从 初始 状态 开始 ， 根 据 约 束 和 规则 产生 所 有 可 能 的 状态 生成 树 ， 然 
后 给 出 系统 的 行为 描述 、 预 测 和 解释 [Cui 1992] 。 这 一 方法 与 Kuipers 的 QSIM 是 类 似 的 。 约 
束 可 分 为 两 类 ， 状 态 内 的 (intastate) 与 状态 间 的 (interstate) 。 例如 一 个 变形 虫 (amoeba) 
摄取 了 一 个 食物 ， 那 食物 成 了 变形 虫 的 一 部 分 ， 那 么 这 一 状态 将 保持 , 这 就 是 一 个 状态 间 约 
束 。 状 态 内 约束 直接 用 子 句 @ 表 示 。 状 态 间 约束 具有 下 列 形式 : 


@O(R, > (RV Rk --- VR) 

























































































或 


DR, © (RV R-- vR)) 








上 述 两 式 分别 表 示 ， 状 态 Ro 如 果 发 生 ， 后 继 状 态 将 是 (Rv Re --- V 局 ,或 者 ， 后 继 状 态 将 一 








定 不 会 是 (RV Rm --- VR). 


Randell 在 其 仿真 程序 中 还 引入 添加 与 删除 规则 ， 添 加 规则 为 系统 下 一 状态 在 区 域 中 引 
入 一 个 物体 , 而 删除 规则 反之 。 例 如 ， 一 旦 变形 虫 摄取 食物 将 产生 一 个 液 泡 ， 而 一 旦 液 泡 中 充 
满 废 物 被 排出 体外 后 将 被 删除 。 

(1) 添加 规则 的 表达 方式 如 下 : 




















add O, Q; ---, 0, with wi when we 











即 当成 立时 ， 系 统 中 增加 0, 0 -一 0 ， 并 有 yn。 
(2) 删除 规则 的 表达 方式 如 下 : 














delet O, Q; ---,0, when we 


表示 成 立时 ， 删除 O, 0», PS Ono 


算法 4.2 Randell 算法 。 假 设 初始 状态 So 已 放 入 状态 集合 SH. 
(1) 如 果 5 空 则 停止 ; 

(2 从 5 中 选 出 状态 S HEH; 
(3) WER S 为 不 一 致 状态 将 转 (2) ; 
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(4) 应 
(5) 用 所 选 出 的 规则 产生 可 能 
(6) 使 用 添加 与 删除 规则 ; 
(7) 进行 状态 内 约束 检查 ; 






































状态 约束 选择 可 用 变换 规则 ; 





0 下 一 个 状态 集合 ; 

































































































































































(8) 将 剩 下 的 状态 加 入 SIF (1) 。 
习题 
l. 定性 的 含义 是 什么 ， 什 么 是 定性 推理 。 
2. 简 述 几 种 基本 的 定性 推理 方法 。 
3. ”定性 推理 方法 要 解决 怎样 的 问题 ， 描 述 它 的 分 析 步 又 
4. ”请 用 定性 进程 方法 描述 锅炉 加 热 的 过 程 。 
5. 定性 仿真 推理 是 一 种 比较 重要 的 定性 推理 架构 ， 简 要 叙述 它 的 基本 方法 。 
6. 试 比 较 基 于 代数 方法 和 基于 几何 空间 的 定性 推理 方法 。 
7. 定性 推理 已 经 在 经 济 分 析 预 测 中 实际 使 用 ， 请 查阅 资料 学 习 一 个 定性 推 到 
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的 系统 。 


5.1 概述 


大 


第 五 章 








FET Yo PES] RETE 


人 们 为 了 解决 一 个 新 问题 ， 先 是 进行 回忆 ， 从 记忆 中 找到 一 个 与 新 问题 相似 的 范例 ， 然 








后 把 该 范例 ! 


























人 做 了 各 种 检查 之 后 
考 那 些 病人 的 诊 


WA YAIT AK, 

































































为 目标 范例 (target 
基于 范例 推理 就 


解 的 一 种 策略 。 


Kolodner 在 《Case-Based Reasoning》: 
有 上 下 文 信 息 的 知识 ， 该 知识 表达 了 推 
[Kolodner 1993]。 具 体 来 说 ， 一 个 范例 应 具有 刀 
。 范例 表示 了 与 某 个 上 下 文 有 关 的 具体 知识 ， 











是 由 目标 范例 的 提示 而 获得 记忆 
















































































e 范例 可 


过 了 














以 是 各 式 各 样 的 ， 可 有 不 同 的 形状 和 粒度 ， 
题 的 解答 或 动作 执行 后 的 效应 。 





























Md 








。 范 例 记 录 了 有 
里 机 失败 发 生 的 可 能 性 有 多 大 等 等 。 
基于 范例 推理 是 人 工 智 能 发 展 较为 成 熟 的 一 个 分 枝 。 它 是 一 种 基 卫 








的 经 验 ， 这 种 经 验 能 












































历 的 











理 。 传 统 的 扒 





























里 观 点 把 推理 到 





LE 解 为 通过 前 因 




















NZ 




















许多 专家 系统 使 用 的 就 是 这 种 规则 链 的 推理 方法 。 基 于 范例 








， 会 想到 以 前 看 过 的 病人 情况 。 找 日 
于 眼前 的 这 个 病人 。 

在 基于 范例 推理 (Case-Based Reasoning， 简 称 CBR) 中 ， 把 当前 所 面临 的 问题 或 情况 称 
case), ， 而 把 记忆 的 问题 或 情况 称 为 源 范例 (ba 
的 源 范例 ， 并 由 源 范例 来 指导 目标 范例 求 


对 范例 Ccase) ZH 














Se 











case) 。 粗 略 地 说 ， 






































k 有 可 操作 性 。 
可 涵盖 或 大 或 小 的 时 间 片 ， 可 带 有 





了 一 个 定义 :“ 范 例 是 一 段 带 
里 机 在 达到 其 目标 的 过 程 中 能 起 关键 作 月 
I 下 特性 : 

这 种 知识 











帮助 推理 机 在 未 来 更 容易 地 达到 






















































































HJ. p 














基于 范例 





的 相似 ”， 过 去 


基于 范例 推理 的 有 
从 小 孩 的 简单 活动 到 专家 的 慎 习 















































为 客观 



























































人 类 经 常 是 按 经 验 行事 ， 而 人 又 是 茶 种 意义 上 的 一 个 












































验 的 推理 方法 用 了 
能 作出 了 贡献 : 























FACES! SERA 








(知识 获取 : 这 是 基于 知识 的 系统 的 瓶颈 问题 。 


或 模型 是 最 繁琐 的 一 们 


到 适合 的 规则 。 
Qi 














知识 可 能 会 与 原 有 知识 产生 ; 














R, 














(3) 改 进 问题 求解 效率 : 基于 范例 推理 通过 复 














过 











的 有 关 信 息 和 知识 复 用 到 新 间 题 的 求解 之 中 。 以 医生 看 病 为 例 ， 在 他 对 某 个 病 
在 几 个 重要 症状 上 相似 的 病人 ， 参 





的 经 验 ” 


目标 ， 或 提醒 推 


去 的 实际 经 验 或 经 





结果 链 《〈 如 规则 链 )》 导出 结论 的 
理 则 是 另 一 种 不 同 的 观点 。 
使 用 的 主要 知识 不 是 规则 而 是 范例 ， 这 些 范例 记录 了 过 去 发 生 的 种 种 相关 情节 。 对 基 了 
推理 来 讲 ， 求 解 一 个 问题 的 结论 不 是 通过 链 式 推理 产生 




















个 过 程 。 





















































然 可 以 把 这 利 














网 




















开发 基于 规则 的 知 
F 事 务 ， 需 要 领域 专家 和 知识 工程 师 的 密切 合作 ;有 的 领域 其 








理 在 如 下 方面 对 人 工 知 





疆界 有 两 个 特点 : 规整 性 和 重 现 性 。 








ms 


E 


范例 
的 ， 而 是 从 记忆 里 或 范例 库 中 找到 与 
当前 问题 最 相关 的 范例 ， 然 后 对 该 范例 作 必要 的 改动 以 适合 当前 问题 。 
E 理 作为 一 种 方法 论 是 合理 
世界 从 总 体 上 看 存在 一 定 的 规整 性 ， 相 似 条 件 下 发 生 的 动作 会 产生 相似 的 结果 。“ 历 史 是 惊人 
的 经 历 很 有 可 能 预示 未 来 。 
究 起 源 于 从 认 知 科学 的 角度 对 人 类 的 推 更 
EE 决策 ， 人 类 借助 于 有 意识 地 或 无 意识 地 回 
智能 系统 ， 因 此 
究 和 应 用 上 。 总 体 上 说 ， 基 于 范 


E 和 学 习 机 制 进行 探索 [136]。 
忆 完 成 各 种 事务 。 
基于 经 





识 系统 时 ， 获 取 规 则 











至 很 难 





找 


























Eg 


















































E. MAE. n 





Pr 
径 。 
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需 象 常规 
于 记录 了 过 去 求解 时 的 失败 或 成 功 信息 ， 使 得 求解 新 问题 时 可 避 开 





























具 维 护 : 随 着 系统 的 运行 ， 知 识 系统 常常 出 现 初始 的 知识 不 完整 而 需要 更 新 ， 新 的 
导致 非常 大 的 系统 变动 。 基 于 范例 
j 过 去 的 解答 ， 


则 不 存在 这 些 问题 。 
里 那样 从 头 做 
错误 的 途 
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(4) 改 进 问 题 求 解 质量 : 过 去 求解 失败 的 经 历 可 以 指导 当前 求解 时 避 开 失败 。 

(5) 提 高 用 户 接受 度 : 用 户 如 果 能 清楚 知道 系统 得 出 的 结论 是 合理 地 推出 的 ， 他 才 相 信访 
结论 。 基 于 范例 推理 的 根据 则 是 历史 事实 ， 事 实 胜 于 雄辩 ， 因 此 对 用 户 有 说 服 力 。 
中 国 科学 院 计算 技术 研究 所 智能 信息 处 理 开 放 实 验 室 在 基于 范例 推理 方面 进行 了 一 系列 
研究 。1991 年 史 忠 植 、 李 宝 东 提出 了 记忆 网 模型 和 范例 检索 算法 [ 李 宝 东 1991] 。1993 年 周 涵 
研制 了 基于 范例 学 习 的 内 燃 机 油 产品 设计 系统 EOFDS[ 周 涵 1993]. 。1994 年 徐 众 会 开发 了 基于 
范例 推理 的 天 气 预 报 系统 。1996 年 王 军 开发 了 基于 范例 推理 的 淮河 王家 坝 洪水 预报 调度 系统 
FOREZ。2000 年 研制 了 渔 情 分 析 专 家 系统 [ 叶 施 仁 2001] 












































































































































































































































5.2 类 比 的 形式 定义 























用 类 比 求解 问题 ， 往 往 在 提出 或 遇 到 某 一 问题 时 ， 回 忆 以 前 相似 的 老 问 题 ， 通 过 对 两 种 情况 
进行 下 配 ， 经 过 推理 获得 新 知识 。 也 可 以 通过 对 老 问 题解 法 的 检索 和 分 析 、 调 整 ， 得 出 新 问题 的 
解决 方法 ,因此 , 计算 模型 除了 记忆 和 新 问题 相似 的 老 问题 的 解法 外 , 还 应 具有 获取 技能 的 过 程 ， 即 
必须 学 会 根据 过 去 有 用 的 经 验 ， 来 调整 问题 求解 方法 。 当 人 们 对 存在 相似 解 进行 更 为 直接 的 回忆 和 
修改 后 仍 不 能 得 出 问题 的 解答 时 , 再 反 过 来 用 弱 方法 求解 。 因 此， 类 比 学 习 是 一 种 基于 知识 (或 经 验 ) 
的 学 习 。 类 比 求解 问题 的 一 般 模 式 如 图 5. 1 所 示 。 












































































































































图 5.1 ”类 比 求解 问题 的 一 般 模式 

类 比 问题 求解 的 形式 可 描述 为 : 已 知 问题 A， 有 求解 结果 B, 现 给 定 一 个 新 问题 A ,A' 与 A 在 特 
定 的 度量 下 是 相似 的 ， 求 出 问题 A 的 求解 结果 B 。 如 图 5. 1 所 示 ，B 反映 B 与 A 之 间 的 依赖 关系 ， 称 
作 因 果 关 系 。CQ 表示 源 领域 (source domain) A 与 目标 领域 (target domain) A’ 之 间 的 相似 关系 。 
此 可 以 推出 ，B 与 A 之 间 的 依赖 关系 B 。 下 面 我 们 给 出 有 关 类 比 学 习 的 一 些 定义 。 

定义 5.1 ”相似 性 。 D, P 是 谓词 的 有 限 集 ， 谓 词 名 w e P, we Pe 是 相同 谓词 ， 则 对 pair 
<q, qo YE P xP 中 存在 相似 关系 。 

定义 5.2 ”部 分 匹配 。 se S te s 和 t 是 包括 公共 常数 的 元 文字 的 有 限 集 。 对 于 Q, 
设 Qc scsx t, QO 和 Vv(4)6 存 在 一 对 一 的 对 应 关系 , 则 (4 O 称 作 对 s 和 t 一 般 部 分 匹 
配 。 

定义 5.3 ”大 小 程度 。 设 (9 0,(9, 0) 是 对 于 s x t 部 分 匹配 。 如 果 存 在 替换 E 使 
VES Q 对 于 任何 Pev) 了 = I£O, (O08 KFR, 902)， 可 以 写成 (028 > (0 8’). 

定义 5.4 最 大 部 分 匹配 。 在 s x tH, WF (OO), (9,0) 部 分 匹配 ， 如 果 (Q, 6) = 
(Q,0)$, WA (Q, 6) 称 作 在 s x t 中 的 最 大 部 分 匹配 。 

定义 5.5 类 比 学 习 。 对 于 s, ve S te TM BE Sx SH, s X 2 € B 7 在 sX 
是 最 大 部 分 匹配 。 根 据 t x t EB A 在 s x ts 中 是 最 大 部 分 匹配 ,将 得 到 te 7 这 就 是 
类 比 学 习 。 
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5.3 过 程 模型 


基于 范例 推理 是 类 比 推理 的 一 种 。 在 基于 范例 推理 中 ， 最 初 是 由 于 目标 范例 的 某 些 (或 
者 某 个 ) ”特殊 性 质 使 我 们 能 够 联想 到 记忆 中 的 源 范例 。 但 它 是 粗糙 的 ， 不 一 定 正 确 。 在 最 初 
的 检索 结束 后 ， 我 们 须 证 实 它们 之 间 的 可 类 比 性 ， 这 使 得 我 们 进一步 地 检索 两 个 类 似 体 的 更 
多 的 细节 ， 探 索 它们 之 间 的 更 进一步 的 可 类 比 性 和 差异 。 在 这 一 阶段 ， 事 实 上 ， 已 经 初步 进 
行 了 一 些 类 比 映射 的 工作 ， 只 是 映射 是 局 部 的 、 不 完整 的 。 这 个 过 程 结束 后 ， 获 得 的 源 范例 
集 已 经 按 与 目标 范例 的 可 类 比 程度 进行 了 优先 级 排序 。 接 下 来 ， 我 们 便 进 入 了 类 比 映 射 阶段 。 
我 们 从 源 范 例 集 中 选择 最 优 的 一 个 源 范例 ， 建 立 它 与 目标 范例 之 间 的 一 致 的 一 一 对 应 。 下 一 
步 ， 我 们 利用 一 一 对 应 关系 转换 源 范例 的 完整 的 (或 部 分 的 ) 求解 方案 ， 从 而 获得 目标 范例 
的 完整 的 (或 部 分 的 ) 求解 方案 。 若 目标 范例 得 到 部 分 解答 ， 则 把 解答 的 结果 加 到 目标 范例 
的 初始 描述 中 ， 从 头 开 始 整个 类 比 过 程 。 若 所 获得 的 目标 范例 的 求解 方案 未 能 给 目标 范例 以 
正确 的 解答 ， 则 需 解释 方案 失败 的 原因 ， 且 调用 修补 过 程 来 修改 所 获得 的 方案 。 系 统 应 该 记 
录 失 败 的 原因 ， 以 避免 以 后 再 出 现 同样 的 错误 。 最 后 ， 类 比 求解 的 有 效 性 应 该 得 到 评价 。 整 
个 类 比 过 程 是 递增 地 进行 的 。 图 5. 2 给 出 了 基于 范例 推理 的 一 般 结 构 。 

新 问题 
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fe iE TR P 











确认 解 建议 解 
图 5.2 基于 范例 推理 结构 示意 图 
基于 范例 推理 有 两 种 形式 ， 问题 求解 型 Cproblem-solving CBR) 和 解释 型 Cinterpretive 
CBR)。 前 者 利用 范例 以 给 出 问题 的 解答 ; 后 者 把 范例 用 作 辩 护 的 证 据 。 范 例 推理 的 过 程 见 图 
5.3。 在 范例 推理 中 ， 关 心 的 主要 问题 如 下 : 

(1) 范例 表示 : 基于 范例 推理 方法 的 效率 和 范例 表示 紧密 相关 。 范 例 表示 涉及 这 样 儿 个 
问题 : 选择 什么 信息 存放 在 一 个 范例 中 ; 如何 选 择 合适 的 范例 内 容 描 述 结构 ;范例 库 如 何 组 
织 和 索引 。 对 于 那些 数量 达到 成 千 上 万 、 而 且 十 分 复杂 的 范例 ， 组 织 和 索引 问题 尤其 重要 。 

(2) 分 析 模 型 : 分 析 模 型 用 于 分 析 目 标 范例 ， 从 中 识别 和 抽取 检索 源 范例 库 的 信息 。 

(3) 范例 检索 : 利用 检索 信息 从 源 范 例 库 中 检索 并 选择 潜在 可 用 的 源 范例 。 基 于 范例 推 
理 方法 和 人 类 解决 问题 的 方式 很 相近 。 碰 到 一 个 新 问题 时 ， 首 先是 从 记忆 或 范例 库 中 回忆 出 
与 当前 问题 相关 的 最 佳 范 例 。 后 面 所 有 工作 能 否 发 挥 出 应 有 的 作用 ， 很 大 程度 上 依赖 于 这 一 
阶段 得 到 的 范例 质量 的 高 低 ， 因 此 这 步 非 常 关键 。 一 般 讲 ， 范 例 匹 配 不 是 精确 的 ， 只 能 是 音 
分 匹配 或 近似 匹配 。 因 此 ， 它 要 求 有 一 个 相似 度 的 评价 标准 。 该 标准 定义 得 好 ， 会 使 得 检索 
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EE 影响 后 面 的 过 程 。 
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(4) 类 比 映射 : 寻找 


标 范 例 同 源 范例 之 间 的 对 应 关系 。 

































































过 程 














JF 








(5) 类 比 转换 : 转换 源 范例 中 同 目 标 范例 相关 的 信息 ， 以 便 应 用 于 目标 范例 的 求解 ; 
中 。 其 中 ， 涉 及 到 对 源 范例 的 求解 方案 的 修改 。 把 检索 到 的 源 范例 的 解答 复 用 于 新 问题 或 新 
范例 之 中 。 它 们 分 别 是 ， 源 范例 与 目标 范例 间 有 何不 同 之 处 ， 源 范例 中 的 哪些 部 分 可 以 
目标 范例 。 对 于 简单 的 分 类 问题 ， 仅 需要 把 源 范例 的 分 类 结果 直接 用 于 目标 范例 。 它 无 




















虑 它们 之 间 的 差别 ， 


因为 实际 上 范例 检索 已 经 完成 了 





























这 项 














则 需要 根据 它们 之 间 的 不 同 对 复 
从 复 用 的 信息 内 容 来 看 ， 主 要 有 两 种 类 型 : 结果 的 复 用 和 方法 的 复 用 。 对 于 前 者 来 讲 
当 源 范例 的 解答 结果 需要 调整 时 ， 它 依据 一 些 转换 


为 目标 范例 中 相应 的 解 。 方 法 的 复 月 





| 的 解 进行 调整 。 














工作 。 而 对 于 问题 求解 之 类 的 














操作 知识 ， 





昌 则 关心 源 范例 








中 的 问题 是 如 何 求解 的 ， 而 不 是 








yz 


解 








把 源 范例 中 的 种 利 


"uf fé 














需 考 


问题 ， 
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转换 


答 结 




















果 。 源 范例 带 有 求解 方法 的 信息 ， 如 操作 算 子 的 使 
Exe Jr OS 

对 把 转换 过 的 源 范 例 的 求解 方案 应 用 到 目标 范例 时 所 出 现 的 失败 
果 分 析 报 告 。 








径 等 。 复 用 时 需 提 

(6) 解释 过 程 : 
释 ， 给 出 失败 的 因 
的 方法 。 
( 





























lam 


j H 








行 评 佑 ， 如 果 成 : 

进行 结果 评估 
Hy fete — Bt 
修 
JR DD 
进行 自修 补 ， 也 可 以 
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E RA, B 















































7) 范例 修补 : 有 些 类 
[也 许 还 包含 一 个 解释 ， 然 后 
当 复 用 阶段 产生 的 求解 结果 不 好 时 ， 需 要 对 其 进行 修补 。 修 补 的 第 一 步 是 对 复 用 结果 进 
功 ， 则 不 必 
， 可 以 依据 它 寿 
MIR), 比如 ; 
正 错误 一 般 涉 及 错误 探测 和 寻找 
修改 造成 错误 的 原 
j 户 输入 完成 。 









































乡 补 ， 否 则 需 对 错误 采取 修补 。 
:实际 环境 中 运行 后 的 反馈 ， 
商人 治疗 
































j， 子 目标 的 考虑 ， 成 功 或 失败 的 
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iil 





有 时 对 成 功 也 同样 做 出 解释 。 基 于 解释 的 索引 也 是 一 种 重要 


以 于 类 比 转换 ， 区 别 在 于 修补 过 程 的 输入 是 解 方案 和 一 个 失败 
驳 改 这 个 解 以 排除 失败 的 因 


素 o 








^ 
sF 


也 可 以 通过 咨询 完成 。 











原 因 o 
因 使 其 不 





寻找 原因 
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(8) 类 比 验证 : 验证 











标 范 例 和 源 范 例 进 














行 类 比 的 有 效 性 。 








(9) 范例 保存 : 3 
有 必要 把 它 加 入 到 范 侈 








这 时 
留 ， 

















所 问题 得 到 了 解决 ， 则 形成 了 一 个 可 能 
上 库 中 。 这 是 学 习 也 是 这 是 知识 获取 。 上 上 
以 及 如 何 把 新 范例 有 机 集成 到 范例 库 中 。 修 改 和 精 化 源 范例 库 ， 












































过 程 。 
在 决定 选取 范例 





yy 








pref AMET ORR, — 
问题 的 求解 结果 ; 以 及 解答 为 什么 成 功 或 失败 的 原因 





及 解释 。 








把 新 范例 加 入 到 范例 ) 


rH 

















需要 对 它 建 立 有 效 的 索引 ， 
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用 于 将 来 情形 与 之 相似 的 问 





股 要 考虑 以 下 儿 点 : 和 问题 有 关 的 特 生 














Hı 








包括 泛 化 和 





上 过程 涉 及 选取 哪些 信息 


索 路 


出 解 


FF 





[IJ 
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z- 
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的 结果 好 坏 。 为 此 ， 可 以 考虑 通过 模拟 时 间 环 境 来 实现 。 
是 为 了 对 错误 进行 解释 分 析 ， 以 找 出 
于 发生。 当然 ， 修 改 既 可 以 使 用 领域 知识 模型 





























这 样 以 后 才能 对 之 作 H 




















忆 。 索 引 应 使 得 与 该 
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调整 ， 如 改变 索引 的 强 
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回忆 得 出 ， 与 它 无 关 时 不 应 
度 或 特征 权 值 。 





忆 出 。 为 此 ， 可 能 要 对 
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FE 

















[描述 ， 











tH 有 效 的 回 


范例 
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建议 粗略 解 
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实际 评估 





存储 


局 5.3 FEF AHL EZ NEA 


5.4 范例 的 表示 



































知识 在 大 脑 中 的 记忆 机 理 现在 仍 是 个 葵 而 未 决 的 问题 。 虽 然 在 目前 的 知识 系统 中 使 用 了 



































产生 式 、 语 义 网 、 框 架 、 面 向 对 象 等 诸多 的 知识 表示 方法 ， 但 它们 在 学 习 系 统 中 ， 尤 其 在 类 





比 学 习 系统 中 却 显得 有 些 难于 胜任 了 。 原 因 在 于 ， 知 识 的 记忆 不 仅 要 使 知识 成 为 有 结构 和 有 
组 织 的 体系 ， 还 应 保证 记忆 的 知识 是 易于 检索 和 存 取 的 ， 而 且 ， 还 应 该 是 易于 学 习 的 。 

































































在 生理 学 、 心 理学 等 领域 ， 已 经 广泛 开展 了 关于 记忆 的 研究 。 心 理学 的 研究 者 们 注重 研 























究 记 忆 的 一 般 理 论 ， 已 经 提出 了 许多 记忆 模型 ， 典 型 的 包括 情景 记忆 (episodic memory), 
语义 记忆 (semantic memory) ， 联 想 记 忆 (associative memory). Schank 的 动态 记忆 理论 








(dynamic memory) 等 。 


知识 是 有 结构 的 体系 。 在 某 些 作 



























































信息 记忆 方法 具有 下 列 优点 : 
。 有 利于 检索 。 








E 务 的 执行 过 程 中 ， 专 家 采用 语义 记忆 来 存储 信息 。 这 种 





。 易于 组 织 。 可 以 把 它们 连接 成 树 形 层次 或 者 网 络 。 




















。 易于 管理 。 知 识 的 改变 只 对 局 部 产生 影响 。 











。 有 利于 知识 的 共享 。 


























Schank 的 动态 记忆 理论 把 知识 记忆 在 一 些 结构 中 。 有 四 种 类 型 的 结构 , 它们 是 记忆 组 织 


(Memory Organization Packet，MOP) 


,场景 (Scene), 剧本 (Script)， 主题 记忆 包 (Thematic 


Organization Packet，TOP) 。 一 个 记忆 组 织 包 中 可 以 包含 许多 场景 ， 每 一 场景 又 可 以 包含 多 

















个 剧本 。 同 时 ， 在 记忆 组 织 包 的 上 层 还 可 能 包含 元 记忆 组 织 包 (Meta-MOP) ”等 。 这 些 结构 按 


照 一 定 的 组 织 原 则 形成 一 个 网 络 结构 ， 而 通过 索引 来 检索 它们 。 


5.4.1 语义 记忆 单元 











语义 记忆 单元 ， 是 指 在 学 习 、 分 析 、 理 解 、 记 忆 知 识 的 过 程 中 所 着 重 关 济 
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中 那些 概 
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念 、 模 式 、 主 题 等 ， 以 及 据 此 形成 的 关于 知识 的 概念 性 认识 。 换 言 之 ， 这 些 语义 记忆 单元 是 
系统 对 知识 经 “计算 ”之 后 ， 抽 取 其 中 最 能 反映 知识 本 身 特 征 且 可 以 很 好 地 使 知识 内 在 地 联 
系 在 一 起 的 那些 因素 而 获得 的 。 
我 们 记忆 的 知识 只 有 建立 在 一 定 程度 的 加 工 基 础 上 ， 才 能 获得 真正 的 记忆 ， 并 很 好 地 服 
务 于 以 后 的 使 用 。 语 义 记忆 单元 的 作用 在 于 ， 它 是 对 其 体 知识 、 具 体 问题 某 个 方面 的 概括 ， 
以 及 对 具体 知识 和 其 体 问 题 的 较为 抽象 的 本 质 的 认识 。 具 体 知识 和 其 体 问 题 可 以 依 语义 记忆 
单元 为 中 心 ， 以 语义 记忆 单元 之 间 的 联系 为 纽带 很 好 地 组 织 起 来 。 
那么 ， 选 择 知识 中 哪些 因素 作为 语义 记忆 单元 呢 ? 由 于 每 种 知识 都 有 其 自身 内 在 的 特点 ， 
因此 ， 选 择 的 策略 便 因 知识 的 特点 不 同 而 有 所 不 同 。 一 般 地 ， 对 于 很 新 的 知识 ， 我 们 往往 把 
其 中 的 概念 作为 首要 的 记忆 对 象 。 随 着 关于 此 类 知识 的 积累 愈加 丰富 ， 在 具备 了 关于 有 具体 问 
题 的 分 析 能 力 之 后 ， 便 可 用 来 分 析 具 体 问题 的 主 叶 ， 从 中 概括 出 一 些 抽象 的 概念 性 的 认识 。 
例如 ， 天 文学 中 ， 天 体 之 间 围 绕 旋 转 是 我 们 对 天 体 间 关系 的 一 般 认识 ， 则 “围绕 旋转 ”这 个 
二 元 关系 便 可 以 抽象 为 一 个 语义 记忆 单元 。 通 过 这 个 词汇 ， 不 仅 可 以 联想 到 具体 的 知识 ， 还 
可 以 联想 到 具体 的 形象 。 关 于 选择 策略 的 另外 一 点 考虑 是 ， 可 以 把 知识 中 涉及 到 的 那些 重要 
的 模式 抽象 出 来 作为 语义 记忆 单元 。 这 些 模式 并 不 是 用 文字 表达 的 ， 而 是 用 某 些 特殊 符号 组 
合 而 成 的 一 种 特殊 的 表达 方式 。 




































































































































































































































































































































































































































































5.4.2 记忆 网 

















我 们 所 记忆 的 知识 彼此 之 间 并 不 是 孤立 的 ， 而 是 通过 某 种 内 在 的 因素 相互 之 间 紧 密 地 或 
松散 地 有 机 联系 成 的 一 个 统一 的 体系 。 我 们 使 用 记忆 网 来 概括 知识 的 这 一 特点 。 一 个 记忆 网 
便 是 以 语义 记忆 单元 为 结 点 ， 以 语义 记忆 单元 间 的 各 种 关系 为 连接 建立 起 来 的 网 络 。 在 下 面 
的 叙述 中 ， 我 们 把 语义 记忆 单元 简 记 为 SMU[Li 1992] 。 网 络 上 的 每 一 结 点 表示 一 语义 记忆 单 
元 ， 形 式 地 描述 为 下 列 结构 : 

SMU = { SMU NAME slot 


Constraint slots 



















































































Taxonomy slots 
Causality slots 
Similarity slots 
Partonomy slots 
Case slots 
Theory slots 
} 
(1) SMU NAME slot: 简 记 为 SMU 槽 。 它 是 语义 记忆 单元 的 概念 性 描述 ， 通 常 是 一 个 词 
汇 或 者 一 个 短语 。 
(2) Constraint slots: 简 记 为 CON 模 。 它 是 对 语义 记忆 单元 施加 的 某 些 约束 。 通 常 ， 
这 些 约束 并 不 是 结构 性 的 ， 而 只 是 对 SMU 描述 本 身 所 加 的 约束 。 另 外 ， 每 一 约束 都 有 CAS 
侧面 (facet) 和 THY 侧面 与 之 相连 。 
(3) Taxonomy slots: 简 记 为 TAX 槽 。 它 定义 了 与 该 SW 相关 的 分 类 体系 中 的 该 SMU 
的 一 些 父 类 和 子 类 。 因 此 ， 它 描述 了 网 络 中 结 点 间 的 类 别 关 系 。 
(4) Causality slots: 简 记 为 CAU 模 。 它 定义 了 与 该 SMU 有 因果 联系 的 其 它 SMU, € 
或 者 是 另 一 些 SMU 的 原因 ， 或 者 是 另外 一 些 SMU 的 结果 。 因 此 ， 它 描述 了 网 络 中 结 点 间 的 
因果 联系 。 
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(5) Similarity slot 
络 中 结 点 间 的 相似 关系 。 

(6) Partonomy slots 
SMU. 

(7) Case slots: 

(8) Theory slots: 





fal 

















映 与 SMU 相 关 的 范例 信息 ， 


S: 


简 记 为 PAR 


简 记 为 SIM RE. EE MS 5x SMU 相似 的 其 它 SMU, 





槽 。 它 定义 了 与 该 SMU 




















WA CAS fü. 


它 定义 了 与 该 SMU 相关 的 范例 集 。 


























简 记 为 THY f. 
上 述 8 类 槽 可 以 总 地 分 成 三 大 类 。 一 类 反映 各 SMU 之 间 
SIM 槽 和 PAR HE; 第 二 类 反映 SMU 自身 的 内 








包括 CAS RII 








H 


























点 ， 即 内 涵 结 点 MMU， 
为 SMU 








pa» 


MAS 





d 
“资源 六 





的 知识 。 这 些 知 识 
基于 对 象 的 表示 方法 等 。 在 某 些 情况 下 ， 这 使 得 知识 处 到 





此 来 表示 与 此 结 点 连接 和 
增加 约束 ， 可 以 把 比 SMU 更 为 特殊 的 知识 记忆 在 该 SMU 周 
以 检索 到 受到 一 些 约束 的 知识 。 这 使 得 知 
“影响 知识 的 检索 ， 但 却 对 知识 的 
忆 起 属于 某 一 主题 或 者 某 个 








AB 
X 





域 的 知识 。 


回忆 有 具有 和 














US 











和 特性 ， 包 括 SMU # 
CON 槽 。 关 于 相似 的 SMU, 
的 各 结 点 是 关于 此 内 
围 。 





























因此 ， 











识 的 记 
民 大 的 作用 。 


E 
AE 

















通过 部 分 整体 联系 ， 
































THY 槽 记忆 的 














TARHI 














" RAMI NIE, M 


























间 的 语义 关系 保证 了 同 某 个 SMU 有 关 的 知识 是 非常 容易 检索 到 的 。 


我 们 看 到 ， 记 忆 网 是 机 





的 复杂 性 决定 了 网 络 建立 和 学 习 的 复杂 怕 
和 形成 的 。 在 这 一 过 程 中 ， 不 出 
点 的 知识 遗 态 掉 。 这 说 明 ， 网 络 建立 的 过 程 事 实 上 便 是 知识 的 学 习 过 


习 思 考 的 结果 而 逐步 完善 
长 久 不 用 的 关于 某 个 乡 


程 。 























使 月 




















往 无 意识 地 把 它 的 一 些 具 体内 容 遗 起 殖 尽 ， 而 却 能 
印象 。 这 说 明 ， 记 忆 网 本 身 是 一 利 
记忆 强度 来 
强度 是 时 间 和 回忆 的 一 个 函数 。 随 着 时 间 的 增 力 














化 甚至 遗 态 。 我 们 可 以 














HARIH, {E 


二 




















| 长 时 性 








具有 部 分 整体 关系 包 


它 定义 了 关于 该 SMU 的 理论 知识 。 
的 关系 ,包括 TAX FL CAU Ri. 
ERI THY f; 
我 们 引进 一 个 特殊 的 结 
函 相 似 的 一 些 SMU。 通 过 


乙 具 有 层次 性 。PAR 模 虽然 在 我 们 的 模型 
关于 SMU 的 理论 知识 ， 如 上 面 给 出 的 


| 如， 产生 式 、 相 
可 以 局 部 化 。 在 记忆 网 ! 











I 
H1 























第 三 类 反 
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通过 SMU 








inf 
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我 们 便 可 以 











EAR. 
疆 占 > 


EH ww 

















网 络 


它 确实 反映 了 知识 之 间 错 综 复杂 的 内 在 联系 。 
。 对 于 人 来 讲 ， 记 忆 网 是 经 过 知识 的 长 期 积累 和 学 





























f 地 增加 新 的 结 点 和 知识 ， 


同时 ， 把 


















































的 记忆 ， 而 关于 各 槽 的 记忆 则 是 短 


日 记忆 网 可 以 一 定 程度 地 解释 知识 的 遗 访 。 一 般 对 于 一 段 时 间 内 不 用 的 知识 ， 我 们 往 
E 记 忆 中 留 下 一 些 关 于 这 种 知识 的 大 致 的 


WN, SEBAK 
























































得 回忆 的 知识 的 记忆 强度 便 有 所 增加 。 








记忆 网 与 语义 网 既 有 联系 ， 又 有 差别 ， 是 刀 
使 用 结 点 来 表示 信息 ， 使 用 结 点 之 间 的 连接 来 表示 语义 关系 。 它 们 之 间 
信息 的 表示 是 有 本 质 的 区 别 的 。 语 义 网 的 信息 表达 能 力 只 
司 的 连接 来 表示 。 但 记忆 网 的 表达 能 力 却 远 不 止 于 此 ， 表 现在 : 


























过 结 点 和 结 点 | 
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知识 的 遗 筷 和 记忆 得 到 强化 的 现象 。 

















E 语 义 网 基础 上 发 展 起 来 的 一 利 


一 般 地 ， 记 忆 


I， 记忆 强度 会 减弱 ， 而 每 一 次 回忆 之 后 ， 获 





模型 。 它 们 都 





















































。 可 以 记忆 使 用 其 它 表达 方式 表示 的 理论 知识 和 具体 范例 。 
。 通过 为 结 点 施加 约束 来 记忆 较为 特殊 的 知识 。 
。 可 以 通过 内 涵 结 点 来 组 织 相 似 的 知识 。 




















。 记忆 单元 可 以 是 一 个 主体 ， 可 以 独立 地 完成 一 定 的 任务 。 














(1) 
(2) 
(3) 
正 肥 向 
(4) 














Xj 
E 理 和 信息 传递 等 。 
CAS Hf 


















































在 记忆 网 基础 上 可 以 进行 多 利 
通过 语义 关系 可 以 在 各 结 点 之 间 继 承 知识 。 
约束 满足 是 指 在 结 点 内 部 ， 通 过 大 
| THY 槽 中 所 记忆 的 知识 ， 可 以 针 








IT 


Eg 








H 
3$ 
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象 和 泛 化 也 是 在 记忆 网 上 可 实施 的 操作 。 


例如 : 


这 一 点 类 似 于 i 











ri 











k 有 很 大 的 不 同 。 对 
局 限于 网 络 自身 ， 亦 即 知识 只 能 通 


在 义 网 的 继承 
内 涵 施 加 约束 而 获得 特殊 知识 的 过 程 。 

















ERE, 
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对 表示 方法 的 不 同 而 采用 相应 的 
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方法 。 由 此 ， 
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5.5 范例 的 索引 











lle 











范例 内 容 一 般 有 如 下 三 个 主要 组 成 部 分 : 





及 周围 世界 的 状态 ， 包 解决 方案 : 
《周围 世界 的 新 的 状态 )。 问 题 或 情景 
系统 必须 要 有 ， 
























































对 问题 的 解决 方案 ; 
述 和 解决 方案 是 必 不 可 少 
而 结果 部 分 在 有 的 系统 中 没有 。 
(1) 问题 或 情景 描述 是 对 要 求解 的 问题 或 要 理解 的 情景 的 








当 范 例 发 生 时 推理 器 的 目标 ， 完 成 该 目标 所 要 涉及 的 任务 ， 周 围 

















相关 的 所 有 特征 。 


(2) 解决 方案 的 内 容 是 问题 如 何在 























答 ， 也 可 能 是 得 出 解答 的 推导 过 程 。 








(3) 结果 记录 了 实施 解决 方案 后 的 结果 情况 ， 是 失败 还 是 成 : 








范例 组 织 时 由 两 部 分 组 成 ， 一 是 范例 的 内 容 ， 范 例 应 该 包含 哪些 有 关 的 东西 才能 对 问 是 
的 解决 有 用 ;二 是 范例 的 索引 ， 它 和 范例 的 组 织 结构 以 及 检索 有 关 ， 反 应 了 不 同 范例 间 的 



































QD 问题 或 情景 描述 : 














页 











ik, 














x & 





范例 发 生 时 要 解决 的 问题 
QAR: 执行 解决 方案 后 导致 的 结果 
的 部 分 ， 任 何 基于 范例 推理 























般 要 包括 这 些 内 容 : 

















特定 情形 下 得 到 解决 。 

















功 。 有 了 结果 内 容 ， 


性 界 或 环境 与 可 能 解决 方案 











它 可 能 是 对 问题 的 简单 解 














CBR 











在 给 出 建议 解 时 有 能 给 出 曾经 成 功 地 工作 的 范例 ， 同 时 也 能 利用 失败 的 范例 来 避免 可 能 会 发 





生 的 问题 。 当 对 问题 还 缺乏 足够 的 了 解 时 





效果 。 














范例 索引 对 于 检索 或 回忆 出 相关 的 有 用 范例 非常 重要 。 索 引 的 目标 是 : 











， 通 过 在 范例 




















的 表示 上 加 上 绪 








果 部 分 能 取得 较 好 的 








AXE OUR T EE 


行 索引 后 ， 当 给 定 一 个 新 的 范例 时 ， 如 果 范 例 库 中 有 与 该 范例 相关 的 范例 ， 则 可 以 根据 索引 





找到 那些 相关 的 范例 。 



































建立 范例 索引 有 三 个 原则 : 中 索引 与 具体 领域 有 关 。 数 据 库 ， 






































的 索引 是 通用 的 ， 目 的 仅仅 











是 追求 索引 能 对 数据 集合 进行 平衡 的 划分 从 而 使 得 检索 速度 最 快 ， 而 范例 索引 则 要 考虑 是 否 








有 利于 将 来 的 范例 检索 ， 它 决定 了 针对 某 个 





















































人体 的 问题 哪些 范 斧 








| 被 复 用 ;思索 引 应 该 有 一 定 








的 抽象 或 泛 化 程度 ， 这 样 才能 灵活 处 理 以 后 可 能 过 到 的 各 种 情景 ， 太 具体 则 不 能 满足 更 多 的 





























情况 ， 久 索引 应 该 有 一 定 的 
之 间 的 差别 将 被 消除 。 

















5.6 范例 的 检索 














k 体 性 ， 这 样 才能 在 以 后 被 容易 地 识别 出 来 ， 太 抽象 则 各 个 范例 


范例 检索 一 一 从 范例 库 (Case Base) 中 找到 一 个 或 多 个 与 当前 问题 最 相似 的 范例 ，CBR R 
统 中 的 知识 库 不 是 以 前 专家 系统 中 的 规则 库 ， 它 是 由 领域 专家 以 前 解决 过 的 一 些 问 题 组 成 。 








范例 库 中 的 每 一 个 范例 包括 以 前 问题 的 一 般 描述 有 
同时 也 建立 了 关于 这 个 范例 的 主要 特征 的 索引 。 当 


























[情景 和 解法 。 
接受 了 一 个 求解 新 问题 的 要 求 后 ，CBR 利 

















用 相似 度 知 识 和 特征 索引 从 范例 库 ， 
































个 子 过 程 ， 即 特征 辩 识 、 初 步 匹 配 ， 最 佳 选 定 来 实现 。 





特征 辩 识 是 指 对 问题 进行 分 析 ， 提 取 有 关 特 征 ， 特 征 提取 方式 有 : (a) 从 问题 的 
然 语言 对 问题 进行 描述 并 输入 系统 ， 系 统 可 以 对 句子 进行 关键 词 提 
理解 后 导出 的 特征 ,如 图 象 分 析 理 解 
] 户 那里 通过 交互 方式 获取 的 特征 ， 














接 获 得 问题 的 特征 ， 如 














取 ， 这 些 关 键 词 就 是 问题 的 某 些 特征 。(b) 对 问题 经 过 分 析 ] 
中 涉及 的 特征 提取 。(c) 根 据 上 下 文 或 知识 模型 的 需要 从 
系统 向 用 户 提 问 ， 以 缩小 检索 范围 ， 使 检索 的 范例 更 加 准确 。 
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找 出 与 当前 问题 相关 的 最 佳 范 例 ， 由 了 
即 所 得 到 的 范例 质量 和 数量 直接 影响 着 问题 的 解决 效果 ， 





所 以 此 项 工作 比较 重要 。 


| 并 入 范例 库 时 ， 


一 个 新 范 侦 














F 它 所 回忆 的 内 容 ， 





它 通 过 三 














述 中 直 
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初步 匹配 是 指 从 范例 库 中 找到 一 组 与 当前 问题 相关 
作为 范例 库 的 索引 来 完成 检索 的 。 由 于 一 般 不 存在 完全 的 精确 匹配 ， 所 以 要 对 范例 之 间 的 特 
下 关系 进行 相似 度 估 计 ， 它 可 以 是 基于 上 述 特 征 的 与 领域 知识 关系 不 大 的 表面 估计 ， 也 可 以 
通过 对 问题 进行 深入 理解 和 分 析 后 的 深层 估计 ， 在 其 体 做 法 上 ， 则 可 以 通过 对 特征 赋 于 不 同 
的 权 值 体现 不 同 的 重要 性 。 相 似 度 评价 方法 有 最 近邻 法 、 归 纳 法 等 。 
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的 候选 范例 。 这 是 通过 使 用 上 述 特征 






























































最 佳 选 定 是 指 从 初步 匹配 过 程 中 获得 的 一 组 候选 范例 中 选取 一 个 或 几 个 与 当前 问题 最 相 




















关 的 范例 。 这 一 步 和 领域 知识 关系 密切 。 















































可 以 由 领域 知识 模型 或 领域 知识 工程 师 对 范例 进行 








解释 ， 然 后 对 这 些 解释 进行 有 效 测试 和 评估 ， 最 后 依据 某 种 度量 标准 对 候选 范例 进行 排序 ， 
口 























得 分 最 高 的 就 成 为 最 佳 范例 ,比如 最 相关 的 或 解释 最 合理 的 范例 


n 





j 选 定 为 最 佳 范例 。 


标准 的 检索 过 程 如 图 5.4 的 左 图 所 示 。 此 过 程 的 输入 为 源 范例 (source case, 即 当前 范例 )， 








它 由 当前 情景 和 推理 目标 构成 。 通 过 情 











景 分 机 ， 情 景 描述 得 到 
范例 相似 的 范例 ， 那 么 源 范 例 与 范例 库 中 相似 范例 相关 的 索引 














细 化 ; 如 果 在 范例 库 中 有 与 源 
应 该 能 够 通过 细 化 过 程 计 算出 



































来 。 检 索 算法 使 用 源 范例 和 细 化 出 来 的 索引 在 范例 库 中 搜索 。 搜 索 需 要 借助 匹配 过 程 来 决定 








源 范例 和 范例 库 中 遇 到 的 范例 之 间 的 匹配 度 。 检 索 算 法 返 












































这 些 范例 都 有 可 能 对 求解 新 问题 有 用 。 








(ranking)， 确 定 最 有 用 的 范例 。 





检索 


分 析 情 景 ; 
细 化 源 范 例 的 描述 ; 
计算 新 情景 的 可 能 有 的 索引 ; 



































检索 组 织 好 的 范例 库 ， 
找 出 《部 分 ) 匹配 的 目标 范例 


检索 范例 


选择 一 个 或 一 组 最 佳 范例 








回 一 组 《部 分 )》 匹配 的 相似 范例 ， 

















接着 还 要 对 这 组 相似 范例 进行 进一步 的 分 析 排 位 





更 新 


分 析 情 景 ; 
细 化 源 范 例 的 描述 ; 
计算 新 情景 的 可 能 有 的 索引 ; 


| 


检索 组 织 好 的 范例 库 ， 
找 出 《部 分 ) 匹配 的 目标 范例 









































Al 5.4 WARMED 


检索 过 程 有 三 个 核心 部 分 组 成 : 检索 算法 、 匹 配 函 数 ， 和 情景 分 析 (situation assessment). 
下 面 着 重 讨论 检索 算法 。 数 据 结构 和 算法 之 间 有 着 紧密 相连 的 关系 ， 























和 范例 库 的 组 织 结 构 联系 在 一 起 ， 不 同 的 范例 库 组 织 自然 要 有 























因此 探讨 检索 算法 必须 


























构 或 平面 结构 相对 较 简 单 ， 而 树 和 图 结构 则 较 复杂 。 不 同 的 组 织 形式 


况 而 定 。 














相应 的 不 同 算法 来 检索 。 表 结 





各 有 利弊 ， 依 照 具体 情 











CBR 中 已 形成 了 一 系列 的 范例 组 织 和 检索 策略 和 算法 。 有 串 行 的 
的 、 有 层次 型 的 ， 有 在 细 粒 度 级 上 建立 索引 以 区 别 不 同 范例 的 、 有 在 粗 粒 度 级 上 建立 索引 的 。 

















用 得 最 多 的 则 是 倒 排 索引 之 类 的 方法 ， 它 既 可 以 采 月 











、 有 并 行 的 ， 有 平面 型 














昌 串 行 也 可 用 并 行 策略 来 检索 。kitano 采 











用 此 方法 建立 的 应 用 系统 ， 已 能 处 理 25,000 多 个 范例 。 最 常用 的 检索 方法 有 如 下 三 种 : 近邻 
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法 、 归 纳 法 ， 以 及 模板 检索 。 

(近邻 法 : 近邻 法 采用 特征 间 的 加 权 匹 配 来 估计 范例 之 间 的 相似 度 。 因 此 此 法 的 关键 问 
题 是 ， 如 何 确定 特征 的 权重 。 近 邻 法 的 缺点 是 ， 检 索 的 时 间 复 杂 度 会 随 着 范例 库 中 范例 的 个 
数 增多 而 线性 增长 。 因 此 ， 当 范例 库 较 小 时 近邻 法 是 教 适 合 的 。 

CO) 归纳 法 : 采用 归纳 方法 [] 可 以 确定 哪个 特征 在 区 分 范例 时 最 好 ， 此 方法 能 生成 一 棵 决 
策 树 ， 它 可 以 有 效 地 组 织 范例 。 

(3) 模 板 检 索 : 与 SQL 查询 类 似 ， 模 板 检 索 能 返回 在 一 定 参 数值 范围 内 的 所 有 范例 。 模 板 
法 一 般 用 于 使 用 其 他 技术 之 前 ， 如 在 使 用 近邻 法 之 前 ， 可 先 用 模板 法 来 减 小 近邻 法 的 搜索 衬 
间 。 


5.7 相似 性 关系 


基于 范例 的 推理 很 关键 的 一 个 环节 是 范例 检索 过 程 得 到 的 相似 范例 ， 这 是 应 用 成 功 与 否 
的 前 提 。 由 于 范例 检索 是 在 相似 比较 的 基础 上 进行 的 ， 要 检索 到 相似 的 范例 来 ， 完 全 就 要 靠 
“什么 程度 才 算 相似 ”的 定义 了 。 如 果 定 义 的 不 好 ， 检 索 的 结果 就 不 理想 ， 也 就 谈 不 上 应 用 
的 成 功 。 因 此 相似 度 的 定义 十 分 重要 。 

范例 的 表示 表明 ， 范 例 的 情境 是 由 许多 属性 组 成 ， 范 例 间 的 相似 度 就 是 根据 属性 《或 变 
量 ) 之 间 的 相似 度 定义 的 。 目 标 范例 与 源 范例 之 间 的 相似 性 有 语义 相似 、 结 构 相 似 、 目 标 相 
似 和 个 体 相 似 。 



















































































































































































































































































5.7.1 语义 相似 性 





两 范例 之 间 是 可 以 类 比 的 ， 首 先 必须 满足 语义 上 具有 相似 性 关系 。 相 似 性 关系 是 类 比 问 
题 求解 的 基础 。 两 实体 的 类 比 可 以 区 分 为 正 类 比 、 反 类 比 、 不 确定 类 比 。 正 类 比 是 由 相似 性 
关系 所 确定 的 两 实体 之 间 的 可 类 比 部 分 ， 反 类 比 则 是 已 被 确定 为 两 实体 间 不 相似 的 部 分 ， 不 
确定 类 比 是 两 实体 之 间 尚 未 确定 是 否 可 类 比 的 部 分 。 两 个 实体 可 类 比 的 条 件 之 一 是 :模型 的 本 
质 性 质 和 因果 关系 不 构成 反 类 比 的 一 部 分 。 不 确定 类 比 使 得 类 比 具 有 一 定 的 预见 性 ， 这 种 预 
见 可 能 是 正确 的 ， 也 可 能 是 错误 的 。 在 类 比 求解 中 ， 目 标 范 例 的 本 质 特征 和 源 范例 的 本 质 特 
征 必 须 具 有 相似 性 关系 ， 才 能 使 类 比 有 了 基础 。 
还 有 些 学 者 把 相似 性 关系 区 分 为 表面 的 相似 性 和 结构 的 相似 性 。 表 面 的 相似 性 定义 为 对 
确定 问题 的 解 不 扮演 因果 角色 的 那些 共性 。 相 反 ， 影 响 目 标的 那些 共性 被 称 为 结构 的 相似 性 。 
较 少 限制 的 定义 可 以 把 结构 相似 性 定义 为 关系 之 间 语 义 的 交 个 。 两 者 对 类 比 过 程 具 有 重要 作 
用 。 表 面相 似 性 有 助 于 发 现 最 初 的 类 比 和 辩 识 个 体 ， 结 构 相 似 性 不 仅 有 助 于 类 比 检索 ， 而 且 
对 类 比 映射 具有 非常 大 的 作用 。 





















































































































































































































































































































































S.7.2 结构 相似 性 


如 果 在 两 个 结构 之 间 存 在 某 种 对 应 关系 ， 且 这 种 对 应 关系 能 够 保持 结构 一 致 性 ， 则 认为 
两 结构 是 同 构 的 。 结 构 一 致 性 要 求 : 一 一 对 应 的 关系 必须 保证 它们 涉及 的 个 体 或 低 阶 关系 也 
是 一 一 对 应 的 ， 且 这 种 对 应 不 应 打破 原来 个 体 间 的 对 应 关系 。 同 构 对 于 类 比 推理 有 效 性 的 有 
重要 意义 。 


结构 对 于 类 比 检索 的 意义 是 重大 的 。 首 先 ， 我 们 发 现 ， 表 面 上 并 不 相似 的 范例 由 于 在 结 
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构 上 具有 相似 性 ， 从 而 使 类 比 成 为 可 能 。 原 子 和 太阳 系 涉及 不 同 的 领域 ,表面 上 看 ， 并 不 具 
有 什么 本 质 的 联系 。 然 而 ， 深 入 的 研究 表明 ， 两 者 具有 十 分 相似 的 空间 结构 。 第 二 ， 子 结构 
间 的 同 构 或 相似 性 可 以 使 我 们 只 需 见 树木 ， 而 不 必 顾 及 森林 。 这 是 因为 ， 目 标 范 例 和 源 范 例 
的 类 比 有 时 只 是 局 部 的 。 如 果 从 整体 上 看 ， 两 者 可 能 并 不 具备 任何 的 相似 性 。 例 如 ， 在 故事 
里 解 方面 
两 个 故事 之 间 总 的 来 说 可 能 会 大 相 径 庭 ， 然 而 ， 其 中 某 个 情节 ， 或 者 某 个 人 物 的 性 格 等 ， 
能 具有 惊人 的 相似 之 处 。 在 规划 方面 ， 我 们 不 仅 要 考虑 整个 源 方案 的 可 用 性 ， 而 且 ， 如 果 
试 使 用 整个 源 方案 不 能 得 到 成 功 ， 我 们 还 应 该 把 注意 力 放 在 检索 子 方案 上 面 。 有 时 ， 放 弃 
个 方案 是 不 明智 的 。 

在 我 们 的 类 比 检索 模型 中 ， 同 构 和 结构 相似 性 占有 非常 重要 的 地 位 。 结 构 相 似 性 有 助 于 
初步 检索 到 可 类 比 的 源 范例 ， 而 同 构 则 提醒 我 们 优先 考虑 那些 与 目标 问题 具有 同 构 和 局 部 同 
构 关 系 的 源 范例 或 者 部 分 源 范例 。 
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5.7.3 目标 特征 











问题 求解 的 最 终 目 的 是 要 实现 问题 本 身 所 提出 的 目标 。 人 们 求解 问题 时 ， 都 是 向 着 这 个 
目标 而 竭尽 其 力 。 在 相似 的 一 组 源 范例 中 ， 那 些 对 实现 目标 范例 的 目标 具有 潜在 的 重要 作用 
的 源 范例 ， 较 之 那些 不 具有 目标 相关 性 的 源 范例 ， 更 应 该 得 到 优先 考虑 。 

如 果 为 一 种 结构 表示 增加 了 目标 信息 ， 那 么 ， 这 个 增 大 了 的 结构 ， 同 其 它 包 含有 相似 的 
目标 信息 的 结构 之 间 ， 更 加 具有 语义 相似 性 和 结构 一 致 性 。 换 言 之， 目标 特征 会 增加 我 们 对 
源 范例 选择 的 可 靠 性 。 同 时 ， 它 还 可 以 帮助 我 们 限制 对 源 范例 进行 搜索 的 范围 。 在 Keane 的 
类 比 检索 模型 中 ， 通 过 目标 特征 和 客体 特征 来 检索 可 类 比 的 源 问题 (Keane 1988). Keane 把 
目标 特征 称 为 类 比 检索 的 “结构 线索 ”。 
然而 ， 我 们 是 否 对 那些 不 具备 目标 相关 性 的 源 范例 弃 而 不 顾 了 呢 ? 事实 上 ， 目 标 特征 具 
是 一 个 重要 的 附加 约束 。 如 果 过 分 强调 目标 特征 ， 我 们 就 可 能 把 不 具有 目标 相关 性 但 具有 相 
似 的 子 结构 的 源 范例 置 于 不 予 考虑 的 地 位 。 这 样 做 是 不 明智 的 。 


5.7.4 个 体 相似 性 


在 我 们 的 模型 中 强调 的 另 一 重要 约束 是 个 体 的 类 别 信息 。 从 不 严格 的 意义 上 讲 ， 如 果 两 
个 个 体 之 间 有 具有 一 些 (或 一 个 ) 相似 的 属性 ， 则 它们 是 属于 同一 类 别 的 。 在 概念 聚 类 中 ， 我 
们 使 用 概念 (或 客体 ) 间 的 相关 性 或 紧 致 性 来 对 概念 (客体 ) 集 进 行 分 类 。 相 关 性 是 指 概念 
的 属性 之 间 相 似 度 的 平均 值 。 但 在 这 里 ， 我 们 将 把 电线 和 绳索 看 作 是 同一 类 别 的 ， 因 为 它们 
均 可 以 用 来 绑 缚 物体 。 
有 了 时， 一 个 范例 中 的 某 些 CEES) 个 体 可 能 对 于 问题 的 解决 具有 主导 作用 。 在 这 种 情 
况 下 ， 这 些 (REN) 个 体 应 该 作为 问题 的 显著 的 检索 信息 来 初步 地 检索 源 范例 。 在 最 初 的 
检索 结束 之 后 ， 对 于 那些 同 目标 范例 的 个 体 具 有 同类 关系 或 部 分 和 整体 的 关系 的 源 范例 ， 我 
们 应 该 给 以 优先 考虑 。 个 体 之 间 的 类 比 有 助 于 我 们 认识 如 何 使 用 一 个 个 体 。 范 例 的 部 分 解决 
能 帮助 发 现 整个 范例 的 解 。 
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5.7.5 相似 性 计算 


1. 数值 性 属性 的 相似 度 
Sim(V,V)=1-d(V,V)=1-di 











1 1 
1+dV,,V,) 1+d 





a  Sim(V,,V,) = 


ji 























d, - V, -V,| 
l |v; - vi 
md, = | 
' max(V,, V;} - min(V,, V; 
(5.1) 
HV, V, ÆDE, 的 两 个 属性 值 。 
2. 枚 举 型 属性 的 相似 度 
枚 举 型 属性 相似 度 一 般 有 两 种 ， 一 种 是 只 要 两 个 属性 值 不 同 ， 就 认为 两 者 之 间 的 相似 度 









































为 0， 否则 为 1。 另 一 种 则 依据 具体 情况 而 定 ， 不 是 简单 上 
性 值 间 不 同 的 关系 给 以 具体 的 定义 。 前 者 其 实 是 质 上 的 ， 









































的 非 此 即 彼 划分 ， 而 是 针对 不 同 的 属 

















非 此 即 彼 的 二 值 分 割 ， 而 后 者 则 









































是 量 上 的 ， 进 一 步 细 化 值 间 的 区 别 。 一 般 来 ; 


井 ， 前 者 定义 通 


适 于 种 种 情况 ， 而 后 者 则 要 









































LFR 
LJ o 


由 人 来 预定 义 ， 与 领域 知识 相关 的 ， 从 而 专用 怕 
3. 有 序 属性 的 相似 度 























两 方法 各 有 自己 的 适用 范 


4? 








Hi. 














有 序 属性 介 于 数值 和 枚 举 型 属性 之 | 























司 ， 也 介 于 定性 和 定量 之 间 。 属 性 值 有 序 ， 





IRF 


Hj 




















不 同等 级 值 间 有 不 同 的 相似 度 。 和 枚 举 型 属性 相 比 ， 有 序 

个 等 级 ， 则 等 级 i 和 等 级 GQ(1 1j n) IJ JR EUSE n] XE L2 

数值 属性 、 有 序 属 性 和 枚 举 型 属性 之 间 可 以 相互 转化 ， 

刻 划 , 也 可 以 由 有 序 属 性 来 刻 划 ， 比 如 学 生成 绩 可 以 由 0 到 
C 来 反映 ， 只 不 过 刻 划 的 方式 不 同 。 

我 们 要 计算 范例 之 间 的 相似 度 ， 必 须 考 虑 组 成 一 个 范 
aae Bm 
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属性 规整 性 强 。 
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网 的 各 个 

















假设 属性 值 分 为 n 














i - Jj] 
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有 时 一 个 属性 可 以 由 数值 属性 来 
100 的 分 数 来 反映 也 可 以 用 A、B、 


T= 



































BEHERA EEE 

















成 的 效应 。 范 例 的 相似 度 也 常常 是 通过 距离 来 定义 的 。 常 








| 的 典型 





E 离 定义 有 : 

















1. 绝对 值 距离 (Manhattan): 



































Kp V, 和 Vij, 分 别 表示 范例 i 和 范例 j 的 第 k 个 属性 值 。 





2. KR EGE (Euclidean) 
2 2 
di = 12 (V, - V5) 
k=l 
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N F 1/q 
ij b> Vic -Via| | q70 


(5.4) 


上 面 的 距离 定义 还 只 是 属于 平凡 的 定义 ， 把 各 属性 所 起 的 作 上 月 
个 范例 整体 上 的 相似 度 有 不 同 的 页 献 ， 基 


N 
d; x > w,atV, Va) 
k=l 


(5.5) 




















范例 在 第 k 个 属性 上 的 距离 ， 它 可 以 为 前 面 定义 的 典型 距离 
























































N 
Eh, w, 为 第 k 个 属性 权 值 大 小 ， 一 般 要 求 Dw, 21. d Vy Vy) 表示 第 i 个 范例 和 第 





























有 了 距离 的 定义 ， 就 可 以 类 似 地 得 3 
SIM, =1-d; ( 当 d, €[0.1) 


D 1 m 3 
或 为 : SIM ; “igg. (GÀ d; €[0,0) 时 ) 


(5.6) 
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了 








其 中 ，w 是 反应 特征 重要 性 的 权 值 ，sim IURA f, p 分 别 是 源 范 例 和 范例 库 ! 

















F 所 使 月 


P» _) WiXsim(f' fF) x wi 





范例 的 第 i 个 特征 的 值 。 


5.8 范例 的 复 用 


下 的 | 





站 两 个 范例 间 相 似 度 定义 : 




















较 得 到 新 旧 范 例 之 
的 分 类 问题 ， 仅 需要 把 旧 
而 对 于 问题 求解 类 的 问题 ， 则 需要 对 领域 知识 的 深入 到 
可 以 是 对 整个 解 的 某 项 作 一 些 调整 ， 

从 复 用 的 信息 内 容 来 看 ， 主 要 有 两 种 类 型 
当 旧 范例 的 解答 结果 需要 调整 时 ， 它 依据 一 些 转换 
为 新 范例 中 相应 的 解 。 方 法 的 复 用 则 关心 | 


调整 ， 












































用 那 一 种 方法 依 有 具体 问题 而 定 。 


当 复 用 阶段 产 4 




















日 范例 的 解答 复 月 
间 的 不 同 之 处 ， 然 后 回答 雪 








日 到 新 问题 或 新 范例 之 中 。 





范例 的 分 类 结果 直接 用 了 








新 范 


日 的 下 式 计 算 相似 度 : 











日 相同 。 事 实 上 各 属性 对 一 
Ef 上 权 值 。 即 上 式 可 以 写成 : 





它 的 距离 定义 。 


(5.7) 




















通过 所 给 问题 和 范例 库 中 范例 比 
g 些 解答 部 分 可 以 复 用 到 新 问题 之 中 。 对 于 简单 
































侈 ， 它 无 需 考虑 新 旧 范 例 之 间 的 差别 。 
































的 求解 结果 不 好 时 ， 需 











解 ， 根 据 范例 之 间 的 不 同 对 问题 进行 








也 可 以 对 整个 解 的 进行 微调 。 
结果 的 复 用 和 方法 的 复 月 
操作 知识 ， 把 | 
问题 的 求解 方法 ， 而 不 是 其 解答 的 结果 。 
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目 。 对 与 结果 的 复 用 ， 
可 能 解 转换 
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行 评 佑 ， 如 果 成 功 ， 则 不 必修 正 ， 否 则 需要 对 错误 和 不 足 进行 修正 。 进 行 结果 评估 ， 可 以 依 
据 它 在 实际 环境 中 运行 后 的 反馈 ， 也 可 以 通过 向 专家 询问 完成 。 等 待 反馈 有 时 可 能 需要 花 一 
段 时 间 ， 如 等 待 病 人 治疗 的 效果 如 何 。 但 如 是 工程 中 的 在 线 应 用 ， 则 可 以 马上 返回 结果 。 

过 去 的 情景 不 可 能 与 新 情景 完全 一 样 ， 因 此 对 于 问题 求解 型 的 CBR 系统 必须 修正 过 去 的 
问题 解答 以 适应 新 的 情景 。 修 正 过 程 的 输入 是 当前 的 问题 描述 和 不 太 正 确 的 建议 解 ， 输 出 是 
更 适合 当前 情景 的 较 好 的 解答 。 

简单 的 修正 只 需 对 过 去 解 中 的 某 些 组 成 部 分 进行 简单 的 替换 ， 复 杂 地 修正 甚至 需要 修改 
过 去 解 的 整体 结构 。 修 正 可 以 在 新 解 的 形成 过 程 中 完成 ， 也 可 能 是 当 新 解 在 执行 过 程 中 出 现 
了 问题 再 来 做 。 修 正 一 般 有 这 样 几 种 形式 : 在 旧 解 中 增加 新 的 内 容 ， 或 从 旧 解 中 删 去 某 些 内 
容 ， 或 对 旧 解 中 的 某 些 内 容 进行 奉 换 ， 或 对 旧 解 中 的 某 些 部 分 进行 重新 变换 。 

修正 有 四 类 方法 : 替换 法 〈substitution )、 转 换 法 (transformation )、 特 定 目 标 驱 动 法 
(special-purpose adaptation and repair)， 以 及 派生 重演 法 (derivational replay). 

l. 替换 法 

替换 方法 把 旧 解 中 的 相关 值 作 相 应 替换 而 形成 新 解 。 此 类 方法 包括 如 下 GT: 

(1) 重 新 例 化 Creinstantiation): 这 是 一 种 很 简单 的 替换 操作 ， 仅 仅 是 用 新 的 个 体 蔡 换 旧 解 
中 的 个 体 。 例 如 ， 川 菜 设 计 系 统 CHEF， 在 根据 牛排 炒 甘 蓝 菜 来 设计 一 道 鸡肉 炒 雪 豆 菜 ， 它 就 
是 把 该 菜谱 中 的 所 有 牛排 蔡 换 成 鸡肉 ， 把 甘蓝 替换 成 雪 豆 。 

(2) 参 数 调整 (parameter adjustment) :这 是 一 种 处 理 数 值 参数 的 启发 式 方法 。 它 和 具体 的 
输出 与 输入 参数 间 的 关系 模型 〈 输 入 发 生 什 么 变化 ， 会 导致 输出 产生 怎样 的 相应 变化 ) 有 关 。 

(3) 局 部 搜索 (local search): 使 用 辅助 的 知识 结构 来 获得 替换 值 。 例 如 ， 设 计 点 心 时 缺少 
桔子 ， 则 可 使 用 此 法 在 一 个 水 果 语 义 网 知识 结构 中 搜索 一 个 与 桔子 相近 的 水 果 如 苹果 来 代替 。 

(4) 查 询 〈query): 用 带 条 件 的 查询 在 范例 库 或 辅助 知识 结构 中 获取 要 替换 的 内 容 。 

(5) 特 定 搜 索 (specialized search): 同时 在 范例 库 和 辅助 知识 结构 中 进行 查询 ， 但 在 范例 库 
中 查询 时 使 用 辅助 知识 来 启发 式 指 导 如 何 搜 索 。 

(6) 基 于 范例 的 替换 (case-based substitution): PEH H É HY YE 

2. 转换 法 

转换 法 包括 : 常识 转换 法 (common-sense transformation): 使 用 明白 易 懂 的 常识 性 启发 式 
从 旧 解 中 替换 、 删 除 或 增加 某 些 组 成 部 分 。 典 型 的 常理 转换 法 是 ,“ 删 去 次 要 组 成 部 分 ”， 秦 
| 导 修 补 法 (model-guided repair): 通过 因果 模型 来 指导 如 何 转 换 。 故 障 诊断 中 就 经 常 使 用 
这 种 方法 。 

3. 特定 目标 驱动 法 

这 种 方法 主要 用 于 完成 领域 相关 以 及 要 做 结构 修改 的 修正 。 该 法 使 用 的 各 种 启发 式 需 要 
根据 它们 可 用 的 情景 进行 索引 。 特 定 目标 驱动 的 修正 启发 式 知 识 一 般 通 过 评价 近似 解 作 用 ， 
并 通过 使 用 基于 规则 的 产生 式 系统 来 控制 。 

4. 派生 重演 

上 上述 方 法 所 做 的 修正 是 在 旧 解 的 解答 上 完成 的 。 重 演 方 法 则 是 使 用 过 去 的 推导 出 旧 解 的 
方法 来 推导 出 新 解 。 这 种 方法 关心 的 是 解 是 如 何 求 出 来 的 。 同 前 面 的 基于 范例 替换 相 比 ， 派 
生 重 演 使 用 的 则 是 一 种 基于 范例 的 修正 手段 。 
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来 建议 一 个 替换 。 
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5.9 范例 的 保存 


范例 插入 范例 库 的 过 程 类 似 于 检索 过 程 。“remember” 有 两 种 含义 :“ 记 住 ” 和 “回忆 ”。 
忆 即 检索 ， 记 住 即 存储 或 插入 。 插 入 要 调用 索引 选择 过 程 ， 以 决定 范例 被 索引 的 方式 。 插 
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入 算法 使 用 这 些 索 引 来 把 范例 插入 范例 库 中 适当 的 地 方 。 一 般 来 说 ， 插 入 工作 所 做 的 搜索 和 
检索 相同 。 插 入 算法 搜索 的 目的 是 找到 一 个 可 插入 范例 的 地 方 ， 而 检索 的 目的 是 为 了 找到 相 
似 的 范例 。 当 检索 算法 找到 了 相似 的 范例 后 就 进行 范例 排 位 ， 而 插入 算法 则 是 插入 源 范例 3 
民 据 需 要 重新 组 织 范 例 库 结构 。 
新 问题 得 到 了 解决 ， 则 形成 了 一 个 可 能 用 于 将 来 情形 与 之 相似 的 问题 。 这 时 有 必要 把 它 
加 入 到 范例 库 中 。 这 是 学 习 也 是 知识 获取 。 此 过 程 涉及 选取 那些 信息 需要 保留 ， 以 及 如 何 把 
新 范例 有 机 的 集成 到 范例 库 中 ,并 且 会 涉及 范例 库 的 组 织 和 管理 方面 的 知识 。 
在 决定 选取 范例 的 哪些 信息 进行 保留 时 ， 一 般 要 考虑 以 下 几 上 点 : 和 问题 有 关 的 特征 描述 ; 
问题 的 求解 结果 ; 以 及 解答 为 什么 成 功 的 原因 及 解释 。 

把 新 范例 加 入 到 范例 库 中 时 ， 需 要 对 和 它 建 立 有 效 的 索引 ， 这 样 以 后 才能 对 它 作 出 有 效 的 
回忆 。 索 引 应 做 到 : 与 该 范例 有 关 时 能 快速 回忆 到 ， 与 它 无 关 时 不 应 回忆 出 。 为 此 ， 可 能 要 
对 范例 库 的 索引 内 容 甚 至 结构 进行 调整 ， 如 改变 索引 的 强度 或 特征 权 值 。 

随 着 时 间 的 推移 ,范例 库 会 越 来 越 大 ,这 将 浪费 存储 空间 ， 增 加 检索 的 时 间 。 因 此 必须 对 范 
例 库 进行 有 效 的 组 织 和 管理 。 

在 上 述 检索 (Retrieval)、 重 用 (Reuse). (BIE (Revise) PRE (Retain) 四 个 过 程 是 基 
于 范例 推理 的 关键 步骤 。 由 于 它们 的 英文 都 是 以 R 开始 的 , 因此 ,CBR 的 推理 过 程 也 称 为 4-R 
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5.10 基于 例 示 的 学 习 





基于 例 示 的 学 习 (instance-based learning: IBL)， 是 一 种 与 基于 范例 的 学 习 紧 密 相关 的 归 
纳 学 习 方法 [Aha 1991]。 基 于 例 示 的 学 习 算 法 的 思想 是 ， 存 储 有 过 去 的 已 分 类 的 例 示 ， 当 对 新 
来 的 输入 进行 分 类 时 ， 算 法 在 已 分 类 例 示 中 寻找 与 输入 情况 最 相似 的 例 示 ， 然 后 把 该 事例 的 
类 别 作为 对 新 例 示 的 分 类 结果 。IBL 没有 用 到 复杂 的 索引 ， 仅 仅 使 用 特征 - 值 表示 方法 ， 也 不 
做 范例 修正 操作 ， 但 它 却 是 一 种 非常 有 用 的 方法 。 

在 实例 学 习 (learning from examples) RAHE (supervised learning) 研究 中 ， 人 们 
提出 了 各 种 学 习 概 念 的 表示 方法 ， 如 规则 、 决 策 树 、 神 经 网 络 等 等 。 这 些 方法 的 共同 特点 是 
利用 对 训练 实例 的 抽象 泛 化 来 预测 未 来 的 新 事例 。 最 近邻 (nearest neighbor) 方法 ， 也 称 作 基 
于 例 示 学 习 ， 它 不 对 训练 事例 抽象 泛 化 ， 而 是 直接 以 典型 事例 来 表示 概念 。 它 预测 新 事例 的 
方法 是 ， 根 据 相似 性 原理 〈 即 假设 相似 的 事例 有 相似 的 分 类 结果 )， 在 已 存储 的 例 示 集中 寻找 
一 个 或 若干 个 最 相似 的 例 示 ， 然 后 综合 这 些 例 示 的 已 有 分 类 结果 以 形成 预测 分 类 。 最 近邻 方 
法 的 学 习 方式 是 渐 增 式 的 ; 在 连续 值 属性 的 预测 分 类 中 ， 和 其 它 学 习 方 法 相 比较 ， 一 般 情况 
下 它 具 有 最 好 的 预测 准确 度 [Biberman 1994]. 

最 近邻 方法 的 一 般 形式 是 k 近 邻 〈 简 称 k 一 NN)，k 表示 若干 个 近邻 。K 一 NN 的 应 用 中 存 
在 儿 个 问题 ， 怎样 从 例 示 集 或 例 示 库 中 选择 若干 个 与 要 预测 的 新 事例 相似 的 例 示 ， 如 何 综合 
评价 这 些 相 似 例 示 的 结果 以 形成 当前 事例 的 预测 值 。 前 者 又 包括 如 何 定 义 两 个 例 示 间 的 相似 
度 ， 如 何 确定 (HAZ). Weiss 等 对 符号 或 离散 值 属性 给 出 了 较 好 的 解决 方法 [Weiss 1991]. 
Aha 给 出 了 一 种 交叉 验证 (cross validation) HY k 值 确定 方法 [Aha 1997]。 















































































































































































































































































































































5.10.1 基于 例 示 学 习 的 任务 


基于 例 示 学 习 中 ， 例 示 表 示 成 属性 值 对 ， 每 一 个 例 示 具有 几 个 属性 ， 属 性 缺 值 是 允许 的 。 
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属性 集 对 应 一 个 多 维 空 







































































间 。 这 些 属性 中 有 一 个 是 类 别 属性 ， 其 余 属 性 是 条 件 属性 。 基 于 例 示 
学 习 算法 学 习 多 个 、 重 全 的 概念 描述 。 但 一 般 情况 下 只 涉及 一 个 类 别 属性 ， 并 且 类 别 是 不 相 
交 的 ， 输 出 是 最 基本 的 。 
基于 例 示 学 习 中 概念 [描述 ] 是 从 例 示 到 类 别 的 函数 : 给 定 例 示 空间 中 的 一 个 例 示 ， 它 反映 




























































































一 个 预测 这 个 例 示 类 别 标记 的 分 类 。 基 于 例 示 的 概念 描述 ， 包 括 存储 的 例 示 集合 ， 可 能 还 包 


























AL 


得 它们 在 过 去 分 类 过 程 ， 

















的 性 能 ， 例 示 集 ， 可 以 在 每 个 实例 处 理 后 发 生变 化 。 














分 类 函数 : 输入 相 


述 更 新 器 ， 它 维护 分 类 






























































的 例 示 有 相似 的 类 别 ， 





















































似 函 数 中 权重 相同 。 这 








偏 置 要 求 对 每 个 属性 在 其 值 域内 归 一 化 。 



























































以 性 函数 和 概念 描述 中 例 示 的 分 类 性 能 记录 。 输 出 类 别 标记 I。 概 念 
生 能 记录 ， 决 定 哪 些 例 示 应 加 入 概念 描述 中 。 基 于 例 示 学 习 认 为 相似 
因此 ， 存 在 将 新 实例 按 其 大 多 数 相 似 的 邻居 的 类 别 进行 分 类 。 同 时 ， 
基于 例 示 学 习 假 定 在 缺少 先 验 知识 的 条 件 下 ， 所 有 的 属性 对 分 类 决策 的 贡献 是 相同 的 ， 即 相 




















基于 例 示 学 习 与 大 多 数 有 导师 学 习 算 法 不 同 ， 它 不 构造 决策 树 和 决策 归纳 之 类 的 明确 的 


精炼 的 模式 。 后 者 通过 泛 化 表示 实例 。 分 类 时 采用 简单 的 匹配 ， 而 基于 例 示 学 习 在 实例 表示 























所 做 的 工作 很 少 ， 几 乎 不 进行 泛 化 ， 而 对 后 继 例 示 的 分 类 需要 的 计算 较 多 。 











基于 例 示 学 习 的 性 能 可 以 从 以 下 几 个 方面 考虑 : 














* 泛 化 能 力 : 指 表示 的 可 描述 与 算法 的 可 学 习性 ，IBL 算法 是 PAC 学 习 的 ， 其 概念 边界 




















. 分 类 精度 。 
. 学 习 速度 





























由 若干 有 限 个 有 限 大 的 闭 超 曲 线 组 成 。 





e 协作 代价 : 指 用 一 个 训练 实例 更 新 概念 描述 的 开销 ， 包 括 分 类 的 开销 。 
“ 存储 要 求 : 概念 描述 的 大 小 ，IBL 中 指 用 于 分 类 决策 所 需 的 实例 数 。 





5.10.2 IB1 算法 


















































IB1 算法 的 思想 相当 简单 ， 它 使 用 最 近邻 例 示 的 类 别 标记 作为 预测 值 。 必 须 指 日 


























给 定 的 属性 在 逻辑 上 不 足以 描述 目标 概念 ，IB1 将 不 会 成 功 。 














算法 5.1 IBI 算法 
1.CD< 6 /CD= 概 念 描 











述 


2. For each x € Training Set do 


3: for each y€CD do 


sim[y] — 


similarity (x, y). 


yw: *- some y€CD with maximal simly] 


if class(x)=class (yao 


else classification < incorrect 


CD — CD U{x} 





在 一 般 统 计 假定 条 件 下 ， 近 邻 决策 策略 在 最 坏 的 情况 下 错 分 率 至 多 是 最 佳 贝 叶 斯 


4 
5 
6. 
ve then classification - correct 
8 
9. 





Coptimal Bayes) 的 两 倍 。 这 个 结果 是 建立 在 样本 数 不 受 限制 的 条 件 下 作出 的 ， 因 而 较 寻 


下 面 我 们 来 对 错误 估计 进行 分 析 。 


定义 5.6 RPA x 

















HJ e - 球 是 到 x 的 距离 小 于 的 点 集 。 (yeR'|distance(x, y)« e 





在 二 维 空间 中 。 - 球 近似 为 。”。 
定义 5.7 设 X 是 中 国定 概率 分 布 的 点 集 。X 的 子 集 S 是 X 的 Cs opel, AA X H 
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PII 





所 有 x， 除了 概率 不 超过 的 部 分 外 ，S 中 存在 s fii| s-x|<e 。 
引 理 5.1 设 s，5,Y 是 确定 的 , 小 于 1 的 正 数 , 在 任何 确定 的 概率 分 布下 ,， [0 一 1, 0-1] 


上 包含 N 个 实例 的 随机 样本 ，N>| V2 /。 T/v) Xin V2 /。 上 /5)， 将 形成 一 个 可 信和 度 大 于 
1- 6 的 < ，Y>- 网 。 









































证 明 将 单位 面积 分 成 大 小 相等 的 k 小 方块 ， 每 一 个 对 角 线 长 度 不 大 于 。, 则 有 k= V2 / 
e ]， 并 且 小 方块 中 所 有 实例 距离 在 。 之 内 。 设 Si 是 概率 不 小 于 Y/ 已 的 小 平面 的 集合 。 设 Se 
是 剩 下 的 小 平面 。 任 意 实例 i 不 在 Si 中 的 概率 至 多 1-Y/ ke RAR N 个 实例 均 不 在 Si 中 的 
概率 至 多 [1- v / KET。S, 中 任意 平面 不 包含 N 个 实例 的 样本 的 概率 至 多 为 已 [1-Y/ KT. 






















































































dift v / Ie, pie xD1-v/ RD " « Kx er 。 我 们 确保 这 样 的 概率 少 于 5 。 








ERAN (42 / © T/ v) x BE A2 / e T/ 8). 因此 ,Si 中 的 平面 包含 S 的 样本 实例 .在 Se 
所 有 小 方块 的 概率 小 于 (Y / I) X ev. 

这 一 证 明 可 以 推广 到 RAE, 此 时 Re 上 需要 的 样本 数 为 Vn/ yxln(Vays /8)， 
它 随 维 数 的 指数 次 方 增长 。 j 

定义 5.8 IHEM e>0, KA C 的 。- 内 核 (core) 是 包含 在 C 中 的 、 并 且 属 
的 。- 球 的 点 集 。 

定义 59 Cit e -近邻 是 到 C 中 某 些 点 的 距离 在 。 之 内 的 点 集 。 

定义 5.10 集合 CEC 的 <e ，Y > 近似, 如果 忽 略 一 些 概率 小 于 Y 的 集合 ,C' 包 含 C 的 = - 
内 核 ,并 且 被 C 的 e -近邻 包含 。 

IBL 算法 中 , 每 一 个 实例 都 被 保存 , 几乎 总 是 覆盖 所 有 的 目标 概念 的 近似 正确 定义 “几乎 
总 是 "意味 着 概率 大 于 1- 6 ， 8 是 任意 小 的 正 数 。 “近似 正确 "确保 生成 的 概念 是 目标 概念 的 < 
。 ，Y > 近似 e, v 同样 是 任意 小 的 正 数 。 

引 理 5.1 证 明 IBL 生成 的 概念 与 目标 概念 的 近似 程度 . 特别 的 除了 概率 小 于 Y 的 情形 
外 , IBL 几乎 总 是 履 盖 概念 的 。 -内 核 与 。 -近邻 之 间 的 集合 。 

定理 5.1 设 C 是 [0-1,0-1] 上 封闭 曲线 所 围绕 的 区 域 , 对 给 定 的 1>e，Yy，56 >0, IBL 算 
BARC: 

(  -core (C) -G) c (C-G) c e -近邻 C)-G) 。 

其 中 6 是 概率 小 于 Y 的 集合 。 并 且 这 一 覆盖 的 可 信 度 是 1- 5 。 


证 明 由 上 一 引 理 , N>( V2 / € T/ v) x rd 42 / € /6) 时 ,任意 N 个 随机 选择 的 样本 将 


形成 C 的 Cs -Y> 网 〈 可 信 度 1-5 )。 

WC x IBL 生成 的 预测 属于 C 的 点 集 。 设 6G 是 [0-1,0-1] 上 NN 个 样本 中 任何 一 个 距离 不 在 
e 之 内 的 点 集 。 

Ex G^, C 的 8 内 核 包含 在 CC 中 ，( 也 在 C-6 中 )， 设 p 是 C 的 es- 内核 中 、 但 不 在 6 的 
任意 点 。s 是 p 的 近邻， 由 s,p 的 距离 小 于 s ，p fhe -内 核 中 ，s 在 C 中 ，s 被 正确 地 预测 是 
C 的 成 员 。 同 时 ，p 也 是 C? 的 成 员 ， 所 以 (e -内 核 (C 〇 )-G)S(C-G) 。 

同时 ， 如 果 p 在 C 的 es- 近邻 外 ， 故 p 在 C-G 之 外 。 设 s 是 p 的 近邻 , 如 果 p 不 在 G 中 ， 
Jil] s 不 在 C 中 。 由 s 可 正确 预测 p 不 是 C 的 成 员 。 由 于 没有 点 在 C 的 e -近邻 之 外 ， 被 C 预 测 
成 C 的 成 员 ,，( 除 6 中 的 点 之 外 )， 故 (C-Oc(s -近邻 (0) -6)。 
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T C 中 所 有 点 
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C ff] e 近邻 的 边界 


C 的 边界 


NS C iti e 内 核 的 边界 


C ff e 近似 的 边界 


图 5.5 近邻 的 边界 


该 定理 表明 ， 对 给 定 的 可 信和 度 ， 如 果 训 练 例子 足够 ， 将 形成 C 的 © -内核 与 8 -近邻 之 间 
的 C 的 近似 (忽略 概率 小 于 Y 的 情形 )。C’ 不 能 正确 分 类 p 的 情形 是 : peC BJ e -近邻 ,但 peC 
的 8 -内 核 ， peG。 

定义 5. 11 对 概率 分 布 P 的 类 ， 概 念 类 C 是 多 项 式 可 学 习 的 ， 当 且 仅 当 存 在 算法 A， 多 
项 式 Y 使 任意 O< ee, OL 和 任意 CsC， 如 果 按 某 确定 概率 分 布 psP, 超过 y 0/6,1/6) 个 
样本 被 选 定 ， 那 么 ， 在 可 信 度 至 少 1- 8 的 前 提 下 ，A 将 输出 C 的 假设 ， 这 一 假设 同样 是 C 的 
成 员 ， 并 且 与 C 的 差别 概率 小 于 £- 

定理 5.2. 设 C 是 [0-1,0-1] 上 所 有 长 度 小 于 L 的 曲线 所 封闭 的 区 域 对 应 的 概念 类 ，P 是 
可 以 用 由 上 述 B 所 封闭 的 概率 密度 函数 表示 的 概率 分 布 类 se 。 则 C 是 在 P 下 用 IBl 多 项 式 可 
学 习 的 。 

证 明 ESIH, WR 5 的 边界 长 度 小 于 L， 则 C BY © -内 核 和 -近邻 之 间 的 面积 小 于 2 
eL. a =2 e LB 是 该 区 域 [在 概率 下 j] 上 边界 。C’ 导 致 的 错误 小 于 a+Y。 如 设 Y=a=e/2，&= 
e /4LB。 替 换 不 等 式 中 的 Y，。 ， 即 可 得 证 。 
该 定理 ，IBL 需要 的 例 示 数 是 关于 L 和 8B 的 多 项 式 的 。 通 过 以 上 分 析 ， 我 们 可 以 得 出 ; 
“如 -内 核 为 室 ，C 可 以 是 5C IY e -近邻 的 任意 子 集 ，C 的 形状 很 小 ，。 足够 大 ， 此 时 ， 
IBL 对 C 的 近似 程度 不 好 。 
: 目标 概念 的 边界 程度 增加 时 ， 学 习 需 要 的 实例 的 期 望 数 增加 。 
*。 除了 大 小 不 到 Y 的 情形 ， 错 误 的 正 例 包括 在 C 和 C 的 -近邻 之 间 的 外 圈 ， 错 误 的 反例 
























































































































































































































































包含 在 内 图 。 
* IBL 不 能 区 分 任何 包含 在 。 -内核 ，。 -近邻 之 间 的 概念 ， 因 此 ， 这 一 方法 不 能 反映 概念 
边界 小 的 变动 。 





“所 有 的 结论 可 以 扩展 出 


5.10.3 降低 存储 要 求 
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意 维 空间 。 









































IBI 算法 中 , KA CH © -近邻 与 s -内 核 之 间 的 例 示 是 产生 概念 边界 的 精确 性 近似 。 其 余 
的 例 示 并 不 能 区 分 边界 的 位 置 。 因 此 ， 只 保存 那些 有 用 的 例 示 将 节省 大 量 的 存储 空间 。 不 过 ， 
在 缺乏 关于 概念 边界 的 全 部 知识 下 ， 这 样 的 实例 集合 是 没 法 知道 的 ， 但 可 以 通过 IBl 算法 
被 错误 分 类 的 实例 近似 表示 ， 这 就 是 IB2 的 算法 的 思路 。 

算法 5.2 IB2 算法 。 
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CD 6  //CD 是 概念 描述 
For each x Training Set do 














for each yeCD do 
simLy]<similarity (x, y) 
yss«—some y eCD with maximal sim[y]. 
if class(x)=class (y) 
then classification «—correct 
else 
classification«—incorrect 
CD<CD U {x}. 


SO OOTO SL I» OT ee (eur DOS Ens 





与 IBI 不 同 的 是 ， 卫 2 中 只 保存 那些 被 错 分 的 实例 ， 而 大 多 数 被 错 分 的 实例 出 现在 © - 近 
At e -WIZE e 合理 地 小 )， 与 概念 边界 非常 接近 。 实 例 到 概念 边界 的 距离 变化 较 大 时 ， 
IB2 中 存储 空间 的 减少 非常 明显 。 

噪声 增 大 时 ，IB2 的 精度 与 IBl 的 下 降 更 快 , 这 是 因为 这 些 带 噪 声 的 实例 总 是 被 错 分 ，IB2 
中 保存 的 实例 只 有 小 部 分 是 设 有 噪声 的 ， 那 些 带 噪声 的 例子 用 于 分 类 决策 自然 效果 不 好 。 

IB3 是 对 IB2 的 改进 ， 使 其 对 噪声 不 敏感 ， 思 路 是 用 “选择 过 滤器 ”确定 哪些 实例 应 该 保 
存 起 来 用 于 将 来 的 分 类 决策 。 

算法 5.3 IB3 算法 。 
. CDe 6 
















































































1 
2. For each x Training Set do 

3. for each yeCD do 

4 sim[y]«-similarity (x, y) 

5. if 3íyeCDlacceptable (y)} then 
6 

7 

8 

9 





ynx «-some acceptable yeCD with maximal sim[y] 
else 
ica randomly-selected value in [1, |CD|] 
d Ymax —some y CD that is the i-th most similar instance to x 
10. if class (x) Aclass (Yma ) 


11. then 

12. classification«-correct 
13. else 

14. classification«-incorrect 
15. CD<-CD U {x} 


16. for each y in CD do 
16. if sim [y] SsimLynax] 


17. then 

18. update y’s classification record 
19. if y’s record is significantly poor 
20. then CD<C-{y}. 























在 IB3 中 ， 对 每 一 个 保存 的 例 示 维护 一 个 分 类 记录 《如 分 类 测试 中 正确 分 类 数 和 错误 分 
类 数 )。 分 类 记录 概括 了 每 一 个 例 示 对 当前 训练 实例 的 分 类 性 能 ， 同 时 表征 将 来 的 性 能 。 同 时 ， 
IB3 进行 测试 确定 哪些 例 示 是 好 的 分 类 器 ， 哪 些 相当 于 噪声 ， 后 者 将 从 概念 描述 中 删除 。 对 每 
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一 个 训练 实例 1， 分 类 记录 将 更 新 所 有 至 少 与 1 最 相似 的 “可 接受 ”的 近邻 























如 果 保 存 的 例 示 没有 一 个 是 可 接受 的 ， 我 们 采用 假定 至 少 一 个 例 示 是 可 接受 的 策略 ， 产 
生 一 个 [1, n] Cn 是 保存 的 例 示 数 ) 之 间 的 随机 数 Y，Y 个 最 相似 的 例 示 的 分 类 记录 将 被 更 新 。 




















h 
径 的 超 球 内 的 被 保存 例 示 的 分 类 记录 。 
IB3 使 用 信任 区 间 来 描述 ， 米 确定 个 实例 是 可 接受 的 ， 中 等 的 ， 


TJ 





















































SLPS HVA AGRE, JESS il Ta Augu. UR REAP Bite PA BIE 














果 至 少 一 个 例 示 是 可 接受 的 ， 将 更 新 i 为 中 心 , I 与 它 的 最 近 的 可 接受 邻居 


之 间 的 距离 为 半 








或 者 噪声 。 信 任 区 间 1 
分 类 的 概率 下 限 ， 


















































则 是 可 接受 的 ， 如 果 精 度 的 上 限 小 于 自身 被 正确 分 类 的 概率 的 下 限 ， 则 是 应 去 掉 的 噪声 。 如 





















































AAD XH, AE PE VAIL 























IB3 学 习性 能 对 例 示 的 不 相干 特征 数 相当 敏感 。 同 时, 需要 的 存储 空 











zs 间 和 学 习 速度 随 维 数 














的 指数 次 增加 。IB3 不 能 表示 重 膨 的 概念 。 假 定 所 有 的 类 只 属于 一 个 类 ， 当 然 ， 每 次 我 们 可 以 

















只 学 习 每 个 概念 的 单独 描述 。 
















































































基于 例 示 学 习 具 有 如 下 优点 : 简单 ， 鲁 棒 性 相对 较 好 ， 概 念 偏 置 相对 宽松 ， 


能 渐 增 地 学 





习 概 念 的 曲 状 线性 近似 ， 在 偏 置 不 能 满足 目标 概念 时 ， 基 于 例 示 的 方法 比 其 它 学 习 算 法 速度 
更 快 。 尤 其 是 目标 概念 的 边界 不 与 属性 维 平行 时 ， 基 于 例 示 学 习 算 法 的 更 新 代价 较 低 。 基 于 
例 示 学 习 更 新 的 代价 包括 分 类 。 它 要 求 有 (|A]*IN|) 个 属性 被 检查 , 其 中 |N| 是 被 保存 的 实例 数 ， 





































































































IA| 是 特征 数 ， 而 C4.5 中 对 一 个 新 的 实例 EE AE oA? )。 同 时 ， 














术 可 进一步 降低 基于 例 示 学 习 的 计算 复杂 性 。 


5.11 范例 工程 


























开行 处 理 和 索引 技 





近 十 年 在 这 方面 的 理论 和 应 用 表明 ， 范 例 的 途径 总 是 和 特定 领域 相关 的 。 必 须 注 意 这 两 














个 问题 : 



































重用 。 











。 修 正 范例 在 范例 库 中 的 组 织 ， 使 其 能 够 有 效 地 和 高 效 地 在 将 来 的 推理 中 
“范例 工程 (case engineering) AJME: 根据 已 有 的 信息 自动 抽取 范例 。 
































范例 工程 是 指 设计 合理 的 范例 库 ， 生 成 与 应 用 领域 相关 的 知识 的 部 件 














， 包 括 范例 的 结构 ， 


范例 的 组 织 ， 范 例 的 检索 〈 如 索引 机 制 ， 相 似 性 度量 )， 范 例 使 用 的 规则 ， 范 例 的 修正 与 保存 。 
， 抽 象 范例 必须 手工 的 



































怎样 选择 和 抽取 基本 的 范例 初始 化 范例 库 也 是 非常 重要 的 。 通 党 
或 自动 的 从 具体 范例 生成 。 手 工 的 生成 无 疑 将 陷入 专家 系统 知识 的 瓶颈 。 







































































象 范例 是 一 个 从 具体 范例 映射 的 过 程 ， 实 质 是 数据 约 简 。 












































自动 的 生成 这 些 抽 





在 惰性 学 习 (Lazy Leaming) 中 ， 一 般 数据 是 推迟 处 理 的 ， 没 有 明显 的 学 习 阶 段 ， 不 会 得 到 


关于 数据 的 模型 。 而 KDD 处 理 的 是 海量 数据 ， 存 储 和 检索 它们 的 代价 是 很 大 的 。 一 般 认 为 ， 




























































































如 果 测 试 数据 与 其 


惰性 学 习 的 方式 是 不 适合 处 理 大 数据 量 的 。 我 们 的 思路 是 将 惰性 学 习 与 积极 学 习 结 合 起 来 ; 

从 原始 的 海量 数据 中 得 出 粒度 适中 的 若干 小 模型 〈 这 些 横 型 的 个 数 比 原始 数据 要 小 的 多 )， 每 
个 小 模型 是 关于 部 分 原始 数据 的 ， 所 有 的 小 模型 反映 了 整个 数据 。 在 测试 的 阶段 ，CBR、 近 
邻 算法 等 惰性 学 习 的 算法 不 使 用 原始 的 数据 ， 而 直接 访问 这 些小 模型 ， 


























的 某 个 模型 相 匹 配 ， 则 返回 这 个 模型 的 某 些 特征 作为 结果 。 这 种 惰性 学 习 与 积极 学 习 相 结合 
































的 方法 ， 必 须 具 备 如 下 的 特点 : 
“学 习 算 法 应 该 是 渐 增 的 : 增加 新 数据 时 ， 原 来 的 模型 能 够 通 
时 可 以 构造 模型 ， 这 样 将 减少 训练 时 间 ， 
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过 修正 重 月 


昌 ， 添 加 数据 同 











































































































. 模型 是 层次 性 的 : 粒度 越 小 的 模型 概括 的 数据 越 少 ， 精 度 越 高 ， 粒 度 越 大 的 模型 概括 
的 数据 越 多 ， 精 度 越 低 ;粒度 越 小 的 模型 与 粒度 越 大 的 模型 之 间 是 层次 关系 的 ， 上 一 层 
的 模型 可 以 作为 下 一 层 的 索引 ; 

* 不 同 层次 的 模型 的 格式 未 必 是 相同 的 ， 这 一 方面 是 领域 知识 所 要 求 的 ， 另 一 方面 用 户 
和 算法 对 不 同 层次 知识 的 要 求 也 不 尽 相同 ; 

: 模型 的 表示 要 便于 计算 机 使 用 ， 也 要 便于 用 户 理解 。 

* 用户 可 以 根据 具体 的 问题 选用 不 同 粒度 的 模型 。 






































实例 。 将 所 有 的 实例 存放 在 内 存 中 的 
常 的 做 法 是 将 所 有 的 实例 都 作为 范 人 
高 预测 精度 。 

在 模式 识别 和 基于 例 示 的 学 习 ! 























销 是 4 
































il (reference selection problem) [Dasarathy 1991], 











VI Œ o 








l 








训练 实例 的 数量 和 ,有 的 工作 包括 存 
algorithm, Reduced Nearest Neighbor algorithm, 





4H u 


LK 


般 认 为 经 典 的 近邻 算法 的 复杂 度 比较 高 ， 因 
民 大 的 。 关 键 是 怎样 减 
|， 实际 上 从 实例 
， 减 少 近 邻 算 法 


嵌 错 误 的 人 


为 要 对 新 实例 预测 类 别 ， 必 须 访问 所 有 的 
存储 的 范例 数 。 通 
中 选择 恰当 的 部 分 作为 范例 还 可 以 提 








ae 
少 需 要 














AE 


ANS 
































的 例 示 数 问题 有 时 候 称 为 引用 选择 问 
目标 是 为 了 提高 预测 的 精度 选择 恰当 地 
































7X, ùW Condensed Nearest Neighbor 





IB2[Aha 1990]; 存储 典型 的 例 示 [Zhang 1992]; 











仅 存 储 那 些 被 其 它 训 练 例 示 得 出 的 分 类 器 正确 
法 ;存储 平均 例 示 或 抽象 例 示 [Aha 1990]; 利 月 
ik[Voisin 1987]。 在 Aha 的 研究 表明 , 利用 有 
IB4 算法 的 效果 比 常规 的 近邻 算法 IJB1 要 好 。 

选择 部 分 例 示 获得 更 好 的 分 类 性 能 是 


H5 E 


FF H IIIN 






































限 个 特征 加 权 的 例 示 可 以 


可 能 的 ， 因 














分 类 的 例 示 [Wilson 1972]; 由 领域 知识 确定 的 方 
日 遗传 算法 选择 例 示 [Kurtzberg 1987]， 综 合 的 方 


提高 分 类 的 精度 ，IB3、 











nwa 


1 果 忽 略 那些 带 有 噪音 的 例 示 ， 就 可 


rni 


Aye 























HE Se, VIL ARAL PE AN RIBUS HE SLAP BAY Bid CHR fi 


E: 


MB, DUX RI 














的 偏 单 的 模型 符合 机 器 学 
































里 论 的 原则 。 
研究 基于 范例 的 
Ig c 
范例 的 获取 等 知识 工程 
为 两 种 : 通用 型 和 特定 任务 型 。 
以 及 系统 结构 上 的 修了 
类 : 〇 基于 范例 的 辅助 决策 系统 设计 工 
咨询 系统 设计 工具 ， 妇 
1996]. 

另外 除了 上 述 项 目 ， 市 场 上 销 人 外 
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Em 






























































通用 型 基于 范 



































N? 如 
































的 动机 之 一 是 它 能 减轻 ] 
范例 推理 系统 的 开发 工作 ， 设 计 基 于 范例 推 
idi. RIF ERAS 
E 等 。FABEL 就 是 这 样 一 


I| REPRO[Mark 1996]; @3EF 


售 的 CBR 工具 或 外 壳 也 有 不 少 。 这 些 CBR Y 

















Hr 


能 系统 的 复杂 度 和 难度 。 进 一 步 ， 为 
理 的 开发 工具 ， 将 使 专家 能 直接 参 预 
E 开 发 工具 的 作用 。 基 于 范例 的 推理 工具 可 分 
例 的 推理 工具 可 支持 范例 的 管理 、 检 索 、 评 估 ， 
个 系统 。 特定 任务 型 CBR 工具 A 前 有 这 样 几 
Design-MUSE[Domeshek 1994]; @ 基 于 范例 的 


六 范例 的 教学 系统 设计 工具 ， 如 GuSS[Burke 








TRE 
























































































































































过 各 有 特点 ， 

















如 提供 了 近邻 检索 方法 或 自动 生成 决策 树 的 范例 检索 机 制 ， 允许 用 户 在 检索 时 交互 式 地 向 系 








统 提供 所 需 信息 ; 
提取 所 需 信息 的 功能 。 











提供 了 能 方便 用 户 创建 和 编辑 范例 库 的 友好 界面 ， 同 时 也 具有 从 数据 库 
这 类 CBR 外 过 有 CBR Express, Esteem, Kate, ReMind, CBR Works, 









































ReCall, Eclipse, ART’ Enterprise 等 。 通 过 使 
的 工作 了 。 
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] CBR 外 党， 系统 构造 者 就 只 需 负 责 收集 范例 
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D000000 


5.12 范例 约 简 算法 





叶 施 仁 、 史 忠 植 提出 了 一 种 基于 格 〈lattice) 的 高 效 约 简 算 法 IgEpucrCLS， 虽 在 将 数据 
形成 粒度 较 大 的 超 范例 。INaEpucrCLS 生成 最 小 卫 - 集 和 最 大 E- 集 之 间 的 超 元 组 ， 从 超 元 组 中 能 
够 得 到 与 原始 数据 相同 的 、 甚 至 更 好 的 决策 [ 叶 施 仁 2001]。 超 元 组 h 表示 成 三 元 组 (|h|, {xasp}， 
{child;})， 其 中 |b| 表 示 h 中 包括 的 简单 元 组 数目 ，{xasp} 是 每 个 属性 的 表示 ，f{childi} 是 指向 h 








包含 的 元 组 的 指针 的 集合 。 超 元 组 是 特征 空间 中 的 超 立 方 体 ， 通 过 分 析 它 们 边界 的 密度 朝 样 
本 密集 区 域 移动 ， 因 而 具有 很 好 的 代表 性 和 概括 能 力 。 算 法 是 渐 增 的 ， 次 优 的 。 在 该 方法 
利用 各 个 维 上 的 边界 处 密度 控制 超 元 组 对 应 的 超 立 方 体 在 特征 空间 中 调整 ， 达 到 次 优 的 覆盖 
能 力 和 代表 性 ， 前 者 是 约 简 率 的 保证 ， 后 者 是 正确 性 的 保证 ， 并 且 通 过 引入 格 的 方法 可 以 从 
理论 上 分 析 该 方法 的 有 效 性 和 合理 ， 






































Md 
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E. 























, 


XE X 5.12 GER) 元 组 h 通过 属性 区 间 表 示 ， 其 体 地 说 ， 对 于 归 一 化 后 的 有 序 属性 x 表示 


成 : 




















mid(h(x)) = > h(x)/ | cov(A(x)) | 


xecov(h) 


平均 值 ， 记 为 Xavg; 


上 边界 max(h(x))f&l i Xmas 
下 边界 min(h(x)) 简 记 为 xmin; 
上 边界 的 元 组 数 是 指 在 属性 x 的 取 值 在 [xmax 一 A, xmax] 的 简单 元 组 数 





cov(max(A(x)) — A, max(h(x 


的 密度 为 
下 边界 的 元 组 数 是 指 在 属 怕 








密度 为 den own (h(x)) =| cov(min(A(x)), min(A(x)) - A)|/A 











den, (h(x)) =| cov(max(A(x)) — A, max(A(x))) |/ ^ 






































DI, EAn FERTA h 的 上 边界 在 属性 








, BH Ix max|/As 类 似 地 
FX 的 取 值 在 [xmim xmin 十 A] 的 简单 元 组 数 





























, BH Xminl/As 于 是 ， 超 元 组 h 


属性 x 可 以 表示 成 Xdsp — (Xavg, Xmax» Xmins |Xmax|, [Xmin|) 
对 于 离散 属性 ， 我 们 给 出 超 元 组 h 中 属性 x 所 有 可 能 取 值 的 二 元 组 的 列表 ; 























{(Xi,|Xi])[K € Vx, 1=1,..., [Wxl} > 



























































Ex 方向 上 投影 


cov(min(A(x)), min(A(x)) € A)|. iaspi i. 于 是 超 元 组 h 的 下 边界 在 属性 x 方向 上 投影 的 


中 


def 
其 中 |xil 是 属性 取 值 x; 的 出 现 次 数 。 定 义 x 中 xmin 为 赋值 次 数 最 少 的 属性 值 ， 即 |xmin| = 


min(xi); 如果 这 样 的 赋值 多 于 一 个 ， 则 任 取 一 个 。 类 似 地 ，xmax 为 赋值 次 数 次 少 的 属性 值 。 





Xavg 为 赋值 次 数 最 多 的 属性 值 ，| 








Xavg， Xmax, Xmin; [max]. [Xmin|) © 











aa 


def 
xavgl 王 max(|xi。 于 是 ， 离 散 属性 x 可 以 表示 成 xasp 二 ({(xi,lxi 





























于 是 ， 超 元 组 h 表示 成 三 元 组 (hj, (xag), {child;}), FE Ih| zeman 
{Xasp} 是 每 个 属性 的 上 述 表 示 ，{childi} 是 指向 h 包含 的 元 组 的 指针 的 集合 。 特 别 地 ， 如 果 某 个 
1 几乎 任意 地 充满 该 属性 的 可 能 的 赋值 空间 ， 则 可 以 忽略 该 属 
性 。 为 了 表达 方便 ， 称 | ，{xasp} 和 {childi} 为 h 的 描述 因子 。 








属性 的 分 布 是 近似 于 随机 的 ， 








Me 











a> 





中 包括 的 简单 元 组 数目 








, 









































定义 5.13. ETA h 关于 属性 x 的 上 边界 的 相对 密度 为 |xmaxl/Ihl。 超 元 组 h 关于 属性 x 
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的 


上 下 界 的 相对 密度 为 |xminl/ 
设 超 元 组 h 王 (hl {x'asp}, {child';}), h"—(h"l {x"asp}, {child}, WW h5 h" 合 并 生成 的 超 元 
组 hp。 设 m 和 jh" 中 相应 的 描述 指标 都 分 别 地 加 上 "n RE nn RES CA h" 中 属性 x 的 平均 值 表 
示 成 x"wve)。 对 有 序 属性 ， 


def 
> TX aus 一 ( X'ave*|h'|+X"aye*|h"|)/({h'|+|h"|) 


_ = 















































def 
' " —: ' " 
X'max | X"max — Max{ X'avg, X"ave} 


def 
1 " — $ ' " 
X mia TX min ^ min{ X avg, X avg} 





def | 5 ak | =x! max +A'> x" max 
[E niis dX max] = | x' Eum | Mx "t ax tA ! > X^ ; 其 中 
|X" max | 十 | cid ES ”否则 
e= x' Ax" 区 也 dae | + ae 'max l ON +A'')— abs(X' na xou) 
max max | 一 





2 A'+A" 
(此 时 上 边界 重大 上 式 中 上 边界 大 小 为 abs(X'max 一 X"max)， 也 可 以 定义 新 的 A， 根 据 h 中 
包含 的 元 组 重新 统计 ) 














def | X nin | “ix X' min ts x" 
|X'min F X ial m | x' Yai | ax" us +A' '< x' min ? 其 中 
| Aum | 2 | x' ae | =E 否则 
pes Sa NT nin D is ly QN +A")— abs(x' min _ X min ) 
2 A'+A" 





HEIN FARES, ERP RI GEAZD A abs(X'min—X"min)> THAT DARE SOBTINA, ACHE h 中 
包含 的 元 组 重新 统计 ) 
对 枚 举 型 属性 ， 


























x';- x"i| = [x'i] +x": 
def 
X'min FX" min] ^ min(|x'i| +x") 
def 
X'max FX" max| = max([x'i| + |x") 
于 是 ， 我 们 得 到 
引 理 5.2. WECH h'—([h', {X'asp}, fchild]), h"—(h", (x"a), {child"}}), WW h'5j h" JF 
生成 的 超 元 组 h 
h'--h"— ([h'|-F[h"|, {x'asp} + {x"asp}, {child';} + {child";}). 
当 一 个 简单 元 组 s 与 超 元 组 h 合并 时 ,可 以 把 这 个 简单 元 组 看 成 一 个 超 元 组 , 按照 上 述 方 
法 进行 合并 。 事 实 上 ， 这 里 可 以 分 为 两 种 情形 : 
(Dh Æx Wl) EP T s, Bl Xmin<s(x)XXmax» JERS h 的 边界 不 要 修改 ， 只 需要 更 新 
。 对 有 序 属 性 ，xavg 王 (Cxaves|hl+sCoO)(h 十 D)， 对 枚 举 属 性 ， 如 果 xi=s(x), pxjelxi 1: 
- 如果 s 在 属性 x 方 向 上 落 在 上 边界 或 者 下 边界 ， 则 更 新 边界 区 包括 的 元 组 数 ; 
(Dh 在 x 方 向 上 没有 履 盖 s。 此 时 ， 如 果 先 调整 h 的 边界 ， 然 后 再 更 新 h 的 其 它 描 述 因 子 ， 
将 会 带 来 很 大 的 计算 量 , 这 会 很 大 程度 上 影响 算法 的 性 能 。 事实 上 , WR s h 的 距离 足够 近 ， 
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在 x 方向 上 , s 将 位 于 x 的 | 
我 们 可 以 近似 地 认为 s 落 在 边 
加 : 


[边界 〈 或 下 边界 ) 
界 内 ， 
[Xmaxl€—[Xmax| 1, ERAT |Xminl<|Xmin 
算法 5.4 ”基于 格 的 超 范例 (元 组 ) 
根据 可 用 内 存 空间 大 小 ,随机 在 样本 S 




















Flg 














选 

















ER USE hf 





一 个 弹性 的 区 域 概念， 
边界 内 进行 简单 的 累 


附近 ， 由 于 定义 的 边界 是 


的 边 界 。 这 样 只 需 在 相应 



































生成 算法 渐 增 式 约 简 算法 IgEpucrCLS 。 


择 N 个 不 互 为 近邻 的 点 作为 初始 的 超 元 组 的 中 





心 (它们 之 间 的 距离 不 小 于 预先 规定 的 





RE 


5)， 超 元 组 的 标记 为 相应 点 的 类 别 标记 。 每 个 











维 上 xtA 为 上 边界 和 下 边界 ，H= (his ho... 
对 样本 依次 进行 扫 
离 为 dis(p, hi)。 
2.1 ”如 果 disp, h) SE, 或 者 p 被 hi Hitt 
i. 将 p 标记 为 i 
h; 4 
更 新 hi 的 描述 因子 
否则 如 果 内 存 空 间 人 允许， 则 
将 p 作为 一 个 
NeN+1 
将 p 标记 为 N 
hi 中 加 入 指向 p 的 指针 
23 fj, Kp 视 为 独 异 点 ， 将 其 标记 为 
3. 在 步骤 2 的 扫描 过 程 中 的 某 些 阶段 ， 或 者 扫 


























ii. 


























， 对 每 个 点 p 找到 与 其 最 近 的 类 


.hN}; 
别 相同 超 元 组 hi, 设 p 与 hi 之 间 的 距 


， 则 


PF 加 入 指向 p 的 指针 (或 p 的 ID) 


新 的 初始 的 超 元 组 加 入 H 


0 











结束 后 ， 进 行 如 下 操作 




















3.1 根据 bi 中 包含 
3.2 合并 边界 重 才 的 或 者 中 心 距离 小 于 E 的 








的 元 组 、 边 界 密度 ， 调 整 其 边界 ， 重 新 统计 其 



































3.3 根据 超 元 组 的 密度 (或 包括 的 元 组 数 



































被 包括 对 点 标记 为 0; 
OA E ed si i 














述 因子 ; 
类 别 相同 超 元 组 ; 
ED 排序 ， 去 掉 一 些 密度 很 低 的 超 元 组 ， 并 将 其 
区 域 重 羡 , 则 将 密度 比较 低 的 超 元 组 去 掉 重 又 的 

















BEL. JA ILI uva. 

























































































4. 转 步 骤 2 对 样本 重新 进行 扫描 和 标记 ， 直 到 样本 中 的 标记 不 发 生变 化 ， 或 者 所 有 超 元 组 的 
边界 不 改变 ， 或 者 满足 用 户 的 某 些 标准 ; 
5. 对 标记 为 0 的 样本 重复 步骤 1 到 步骤 4， 它 得 到 的 密度 比较 高 的 超 元 组 加 入 以 前 获得 的 、 











mj 
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标记 相同 的 超 元 组 9 


5.13 中 心 渔 场 预报 专家 系统 

















心理 学 研 





究 表 明 ， 人 类 决策 喜欢 而 且 善 于 
人 常常 难以 正确 回忆 出 适当 的 范例 ， 特 别 是 在 
记忆 方面 具有 优势 ， 能 存储 大 量 的 范例 以 及 较 
长 结合 一 起 ， 正 是 基于 
点 用 现代 科学 技术 开发 海洋 资源 ， 养 护 和 
REAA EPEE ZEW. AIAR ER 
仅 可 以 为 海洋 渔业 开发 和 管理 提供 宏观 决策 信息 
具体 指导 
为 了 更 好 























































































































也 对 我 国 海域 内 渔业 资源 利用 与 
134 


waw ai bbt. com 


范例 的 决策 支持 (case-based decision aiding) HI 








利用 范例 作 决 定 ， 但 人 的 记忆 上 的 限制 又 使 得 
范例 数目 很 多 时 。 和 人 相 比 ， 计 算 机 则 正好 在 
好 地 回忆 出 相关 的 范例 。 把 人 和 机 器 的 各 自 特 
究 目的 。 

管理 好 海洋 渔业 资源 ， 实 现 海洋 渔业 可 持续 发 
动 化 技术 、 地 理 信 息 系统 技术 ， 不 
息 ， 还 能 在 微观 上 为 海洋 渔业 资源 的 利用 作出 































































































所 技术 对 未 来 海 沪 





FE, HAG TB 专属 经 济 区 渔 








D000000 











业 资 源 养护 、 利 用 和 管 











与 资源 评估 服务 系统 技 
东经 130 度 以 西海 区 ) 








打下 民 好 的 基础 。 渔 情 
分 析 技术 、 海 洋 渔业 服务 地 理 信息 系统 技术 的 文 撑 下 ， 





理 技术 











Eit 
预报 利 


























情 分 析 与 预报 的 学 习 和 


IH 


决策 支持 系统 。 


的 支撑 作用 ， 我 们 在 863 计划 支持 下 
术 及 系统 集成 、 示 范 试验 的 


5.13.1 问题 分 析 与 范例 表示 















































究 工作 。 














展 了 海洋 渔 
并 以 东海 (北纬 25 度 到 34 度 ， 
预报 示范 区 ， 为 外 海 渔业 资源 以 及 远洋 渔业 资源 的 利 
JERE. 3E] 





y 
综合 
























































对 渔 况 作出 短期 的 预报 〈 中 心 渔场 )。 渔 场 是 指 在 
用 捕捞 工具 进行 生产 并 具有 开发 利用 价值 的 海区 。: 





获 量 的 区 域 。 准 确 预 报 中 心 渔场 的 位 置 和 大 小 能 够 直接 地 提高 渔业 生产 的 产量 和 效率 ， 上 共有 

















很 大 的 经 济 效益 。 





尽管 我 们 已 经 初步 知道 ， 鱼 类 的 润 游 以 及 ! 












































AN 





温度 (包括 海洋 
JA 























pii 
的 
可 以 从 中 欣 气 

































































业 遥 感 信息 





























| 与 开发 





实例 的 学 习 、 专 家 系统 等 技术 ， 在 遥感 渔业 
领域 专家 的 知识 和 经 验 ， 建 立 渔 

















在 该 系统 中 ， 我 们 的 任务 除了 对 渔业 资源 作出 评估 〈 中 长 期 的 预报 ) 外 ， 重 要 的 工作 是 
定 季节 海洋 鱼 类 或 海产 经 济 动物 密集 ， 可 











心 渔场 是 指 具 有 较 高 的 平均 网 产 和 总 渔 







































































出 许多 有 用 的 信息 和 知识 ， 





H 
个 系统 采用 了 基于 范例 
数据 ,专家 通 i 








例外 的 规则 的 情形 。 


Bet 








mE 
» J H 


是 相当 困难 的 ， 





























因为 ; 


况 对 需求 进行 了 简化 ， 预 测 的 周 
和 大 小 )， 预 报 下 周 C 














E (CBRO 的 方案 。 











向 ， 风 速 等 ， 海 洋 叶 绿 素 浓度 。 但 是 ， 色 类 下 


场 的 形成 受到 这 





Lyf 











JLA 














SSH Wie UE SETR 





任 以 用 传统 的 数学 方法 和 模型 描述 。 同 时 专家 关于 





心 渔场 规律 



























































下 下 周 ) rH py 











RHE AEN TLR. To n] 
因为 CBR 非 














常 适合 应 




















场 〈 位 置 ， 
































场 位 置 、 
































非 空 间 属 性 ， 回 
方法 [Aha 1997]. 
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xk 





范例 库 的 过 程 ! 




















ANE Ma 
归 的 方法 ， 决 策 树 等 方法 并 非 很 

















海水 盐 度 ， 盐 











因素 的 制约 : 海水 
度 梯度 ， 长 江 径流 
因素 制约 ， 变 化 非常 复杂 ， 
的 知识 是 不 精 





= 
里 ， 




















Han 


。 值 得 庆幸 的 是 ， 我 们 已 经 收集 了 20 来 年 东海 的 渔 况 海 况 数据 ， 这 是 非常 宝 

















由 于 大 多 数 海 况 信息 是 以 周 为 单位 收集 的 ， 同 时 为 了 便于 处 理 和 计算 ， 我 们 根据 实际 情 
期 规定 为 一 周 。 这 样 ， 问 题 变 成 了 如 果 知 道 本 周 中 心 渔 产 〈 位 
产量 和 大 小 )。 即 使 如 此 ， 问 题 也 
司 数据 。 同 时 ， 海 况 信 息 涉 及 600 来 个 空间 和 





贵 的 资料 ， 
在场 的 趋势 。 束 
] 于 系统 已 存在 大 量 历史 
过 实例 来 描述 他 们 的 领域 ,问题 未 被 完全 理解 , 可 用 的 领域 知识 很 少 ,系统 中 有 很 多 


确 的 ， 不 完全 


因此 























适合 ， 我 们 采用 了 CBR 这 种 Lazy Learning 的 

















。 一 个 合理 的 、 一 致 的 范例 表示 方法 是 必 不 可 少 的 ,把 情景 














(Situation)、 解 答 (Solution)、 结 果 (Outcome) 用 一 种 合适 的 方式 表示 出 来 是 构造 
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RAE RMR TEA RA 
一 个 实例 与 后 台数 据 库 中 的 纪录 对 应 ， 系 统 在 运行 中 
对 积累 的 原始 数据 经 过 合适 的 预 处 型 














， 我 们 采用 面 











捕捞 记录 数据 格式 为 
部 分 数据 ，: 
同时 ， 为 了 简便 起 见 ， 
















































































的 圆 )。 我 们 将 原始 
的 
































HR 











l. 
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某 个 渔场 








的 周围 存在 相信 








2. 





重复 步骤 2， 直至 





RAIE? 























3. 













































































忽略 产量 低 于 一 定 阔 值 的 区 域 〈 拒 绝 将 其 加 入 任何 





各 其 形状 ， 
捕捞 方式 分 组 ， 可 以 月 
心 渔场 ， 然后 


的 渔场 ， 则 将 它 介 
F 可 以 进行 ; 





HEX C 























L1 


7N 
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ww ai bbt. com [1 HB DL O D D] 
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| 器 学 习 上 


它们 





心 渔 场 ); 

















区 
RA 
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考虑 其 大 小 (相当 于 认为 
日 类 似 于 案 类 的 方法 对 原始 
] 下 述 人 机 交互 的 方法 修正 : 


个 基于 范例 推 


向 对 象 的 技术 表示 海 况 和 渔 况 ， 对 象 的 每 
将 动态 地 构造 它们 。 
E， 才 能 将 问题 转化 为 适合 
上 捞 时 间 、 捕 捞 地 点 、 产 量 、 
[至 连 产量 都 没有 )。 我 们 必须 在 数据 不 完整 的 情况 下 ， 米 
聚集 的 中 心 渔场 忽 
HIAK GED 
捕捞 数据 进行 约 简 ， 形 成 代表 性 很 强 的 


的 形式 。 原 始 的 
来 源 于 个 体 渔 业 公 司 的 


BE 























成 中 心 渔 


cra Vir 
已 是 等 


场 。 
面积 
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4. ”如 有 果 合 并 后 的 渔场 仍然 很 多 ， 忽 略 一 些 面积 和 产量 比较 小 的 渔场 ; 


5. 将 合并 以 后 的 渔场 作为 中 心 渔场 ， 并 且 中 心 渔场 的 位 置 为 它们 的 几何 中 心 ， 大 小 用 
包括 的 渔 区 数 表 示 ， 产 量 为 它们 的 累加 。 


6. 将 步骤 6 的 结果 用 可 视 化 的 方式 提交 给 用 户 ， 让 用 户 根据 具体 情况 进一步 调整 
7. 在 数据 库 中 保存 修改 后 的 结果 。 
利用 我 们 开发 的 工具 (如 图 5.6)， 领 域 专 家 在 很 短 的 时 间 内 就 将 历史 数据 整理 完毕 。 








































































































































































































图 5.6 人 机 交互 聚 类 得 到 中 心 渔场 

















5.13.2 相似 性 度量 


基于 范例 推理 中 一 个 关键 的 环节 是 检索 得 到 的 相似 范例 应 该 尽 可 能 的 “好 ”。 范 例 检索 是 
在 相似 比较 的 基础 上 进行 的 , 要 检索 到 相似 的 范例 来 , 完全 要 靠 “ 什 么 程度 才 算 相似 ”的 定义 了 。 
如 果 定 义 有 问题 ， 检 索 的 结果 就 不 理想 ， 也 就 谈 不 上 应 用 的 成 功 。 因 此 相似 度 的 定义 十 分 重 
要 。 然 而 ， 相 似 性 描述 总 是 粗糙 的 、 部 分 的 、 易 变 的 。CASE 对 于 范例 的 优选 通常 遵循 以 下 规 
WW: 尽 可 能 的 针对 语义 相似 ， 结 构 相 似 ， 目 标 相 似 和 个 体 相似 四 种 约束 ， 使 用 相应 的 计算 方 
法 ， 全 面 评估 范例 之 间 的 相似 性 ， 然 后 针对 各 种 相似 性 在 问题 域内 的 重要 性 ， 计 算出 总 的 动 
态 加 权 相 似 性 。 
在 我 们 的 系统 中 ， 对 空间 条 件 属性 ， 采 用 三 个 相似 性 度量 方法 (函数 ): 
- 基于 渔场 位 置 的 相似 
siml = - X (Wi * distance(pos(goal) - pos(source))) / 二 Wi 
(5.8) 
。 基 于 温度 场 的 相似 
sim2 = - È (w; * difference(temp(goal) - temp(source))) / X wi 
(5.9) 
- 基于 温度 梯度 的 相似 
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sim3 = - È} (wi * difference(delta(goal) - delta(source))) / 二 Wi 


(5.10) 























HA, wi 是 权重 。 如 果 该 温度 测试 点 与 样本 的 中 心 渔场 距离 
如 果 距 离 di 为 0， 权重 为 1， 如果 吕 和 
于 1 的 数 wo (用户 可 以 根据 



































di 越 近 ， 权 越 大 。 计 算 方法 为 ， 























E 离 di 为 海洋 区 域 的 直径 一 一 最 大 距离 dwwx， 权 值 为 一 个 小 






































E 理 结果 修正 它 )， 其 余 插值 。 妈 有 
y, 21- 4 - FO 
d nax 
(5.11) 


5.13.3 索引 与 检索 








检索 到 的 范例 




















含有 与 该 范例 相对 应 问题 的 解答 ， 把 该 解答 复 用 于 当 
问题 的 求解 ， 就 是 范例 复 用 。 复 用 的 过 程 可 以 分 为 类 比 映 射 和 类 比 转换 。 
方案 可 能 应 用 于 目标 范例 ， 一 个 前 提 条 件 是 ， 必 须 在 源 范例 和 目标 范 











起 一 致 的 对 应 关系 ， 
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下 的 形式 化 。 设 Ca AITZI ty 
《的 位 置 ， 产 量 和 大 小 ， 决 策 属 性 );， BIZ t KA Lu CCaQGa?. 组 成 
lint ={(Cu,Gu)> (Co, Go); een (CinsGin)} EJ EX — IS] 间 上 连续 的 实例 序列 ， 其 中 to 是 t 








lo; eee 





HR ne 


QW. VAAN 





aS 知 

















1 的 目标 范例 或 新 
使 源 范 例 的 求解 
网 的 各 个 特征 之 间 建 立 

















Wel om 




















bP 些 关 系 和 结构 可 映射 到 目标 范例 中 。 因 此 ， 在 类 比 映射 中 ， 主 
要 要 解决 的 两 个 问题 是 : 特征 的 辨识 和 对 应 ， 可 映射 关系 和 结构 的 选择 。 
范例 的 索引 主要 有 i 























识 导 引 法 或 这 三 种 方法 的 结合 。 在 本 系统 中 ， 困 





全 之 处 在 于 海 况 和 渔 况 信息 既是 与 空间 相关 的 ， 又 是 与 时 间 相 关 的 。 为 表达 清晰 ， 我 们 作 如 











的 海 况 ， 











它 是 渔场 发 生 的 条 件 (条件 属 怕 












































T): Ga AINA! t 的 渔场 
个 高 维 向 量 。Iu-a={fInu， 
的 












































下 一 时 刻 ( 周 ), tub ti HI TP n 时 刻 〈 周 )。AGF=Gir-Gi 反 映 了 渔场 的 变化 。 
设 r s`l-s`k? r FITE 是 ] 1.sm， Ten 的 两 个 长 度 为 k 的 全 序 子 集 ， T giat Is1-sm> T reks Tua 














sim(,) 是 相似 性 度量 的 函数 。 如 果 人 sk B Troc, gn 





VIs; € Dow > VI; € Du > sim, > 1,) 2 6 


则 称 Itm: Tum 是 k- 6 完 








BWC sts Cuek 是 条 件 序列 








(i<k)， 其 中 5 是 0 到 1 之 间 的 阔 值 ， 





全 相似 的 。 显然 ， k、 6 越 大 ， kism Tein 的 相似 程度 越 高 。 


Cot-sm={Cs1- . Can] > Cu-m={Cu,. Ct 的 两 个 长 度 为 k 


’ ~ 
H C s'I-s'k 一 C t'1I-t'k ; 





H ETE, Cok Cam Corus S Cum o 如果 即 
d : , j, a .)> er v 
VC; EC us Cu € Clu o SIMCC Cu) 0 (1<i<k), Hp 8 HE 0 8] 1 Z Rel ft] 





则 称 Itm: Tum 是 k- 5 条 件 相 似 的 o 


设 Lucu (Iu luas... oj 表示 当前 渔场 从 时 刻 u 到 当前 时 刻 cur 长 度 为 curu- 
} 表 示 当 前 渔场 从 时 刻 t 到 下 一 时 刻 curt1 长 度 为 cur-u+2 
展 过程 ， 其 中 , Leu (Court Geur 1): Court 可 以 通过 气象 分 析 等 方式 比较 准确 地 得 到 ， Geurtt 


Ticani” flyIya, tee slourslourtt j- {Tu-curs Tourt 





的 发 






































- 的 序列 ， 则 

































































表示 下 周 渔场 ， 即 为 我 们 需要 预测 的 内 容 。 设 D u'l-u'k A Lu-cur+1 的 包含 Tours leur 全 序 子 集 ， 我 们 


ae HH 


"yg 女 发 现 , 
T wiu = Iu 






































, 有 海 况 相 似 C u'I-u'k = C v'I-v'k ! 


ww ai 


了 yak 与 某 个 历史 渔场 序列 Loy 的 子 序列 了 wiv 存在 k-6 完 全 相似 。 由 














' ~ mr 
7t t TH 似 C u'l-u'k 一 G v'v'k 








. WA 
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cur+1 ~~ 





试验 表明 ， 完 全 相 


A 
包 Á Co Cora a 


存在 k-5 条 件 相 























Gor XG,, 








以 。 
G-Gyi- Gy 为 相似 渔场 H 






































| Gy 可 以 得 到 Geurtl 的 位 置 。 
以 的 条 件 是 非常 强 的 。 我 们 可 以 使 用 条 件 相 似 ， 设 C'era 为 Cucur 的 
全 序 条 件 子 集 ， 我 们 需要 发 现 ，Ciwwk 与 某 个 条 件 序 列 Cvw 的 子 序列 Cero 


, ~ , —= ~ 
j C u'l-u'k 一 C v'I-v'k ; 有 Gn m Gi, = Gy, 
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引入 几 个 相似 性 















































函数 的 原因 。 

在 实际 系统 中 ， 由 于 8 是 难以 确定 的 。 在 相似 性 检索 中 ， 我 们 采用 k- 近 邻 的 方法 ， 通 过 
发 现 k 个 最 相似 的 历史 序列 来 计算 下 周 渔场 的 位 置 ， 这 样 就 不 需要 一 个 确定 的 8 值 了 ， 同 时 
具有 较 强 的 鲁 棒 性 。 

5.13.4 基于 框架 的 修正 
框架 是 一 种 知识 表示 模式 ，1975 年 由 Minsky 最 早 作 为 视觉 感知 、 自 然 语言 对 话 和 其 他 
杂 行 为 的 基础 提出 [Minsky 1989]。 对 一 类 典型 的 实体 ， 如 状况 、 概 念 、 事 件 等 ， 以 通用 的 数 
据 结构 的 形式 予以 存储 。 当 新 的 情况 发 生 时 ， 只 要 把 新 的 数据 加 入 这 些 数据 结构 ， 就 形成 了 





一 个 具体 的 实体 。 这 样 的 关于 
了 在 一 个 具体 上 下 文 ， 











结构 可 以 寻找 天 


架 由 若干 个 槽 组 成 ， 每 个 槽 有 
fg 
特性 ， 每 个 侧面 又 有 一 个 或 多 个 侧面 
E 论 ， 以 其 组 织 知 识 
示 方 法 。 然 而 既 有 的 框架 应 月 


分 的 种 属性 ， 




















BU 
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针对 对 海洋 渔业 资源 预 讽 
定 知 识 的 能 力 。KBIF 
因素 一 描述 槽 本 身 的 可 信 程 度 ， 
游 规律 受 很 多 











AG 














鱼 类 的 酒 
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型 实体 的 通用 数据 结构 就 称 为 框架 (frame)。 



































基于 范例 推理 的 预测 
心 渔场 规律 的 知识 是 不 精 胡 
为 预测 准确 性 的 关键 ， 

















F! 




















对 特定 实 
8 些 预 见 的 信息 。 框 架 结构 中 存放 这 些 可 





体 进 行 预见 驱动 








的 处 理 方式 ， 在 这 个 上 下 文 环 境 下 根据 这 种 











框架 结构 也 提供 









































预见 信息 的 位 置 称 为 
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Id 

















己 的 名 f» R 





内 的 值 





















































值 ， 每 个 侧面 值 可 以 是 















































区 块 及 处 

















日 系统 


| 研究， 我 们 定义 了 一 
的 主要 特性 包括 : 权重 

















Hi(slots). 一 个 框 
述 框架 所 表示 的 实体 的 各 个 组 成 
的 值 又 可 由 一 个 或 多 个 侧面 (facets) 组 成 ， 各 侧面 从 各 个 方面 来 描述 本 

个 或 者 一 个 概念 的 描述 。 框 
里 预 设 知识 上 的 简洁 特性 而 被 广泛 应 用 ， 己 成 为 重要 的 知识 表 

























































































， 仍 缺乏 处 理 未 看 











定式 知识 及 预 设 知识 冲突 时 的 解决 技 
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因素 制约 ， 变 化 非 











i 向 因素 一 在 次 框架 关 


及 1 











e 4g Fu 


"m AZ AS » x 

















EAR At KBIF， 具 备 了 表示 不 同 重要 性 


系 中 描述 继承 的 倾向 
以 用 传统 的 数学 方法 和 模型 描述 。 








的 
影响 程度 ， 信 赖 
程度 。 

















Ak 


























法 只 





能 采用 基 了 








大 量 历史 数据 积累 的 部 分 因 





AHE 



































因此 系统 采 

















框架 模型 、 黑 板结 





三 种 知识 处 理 模型 : 





行 预测 ， 同 时 专家 关 
第 的 ， 不 完全 的 。 对 中 心 渔场 的 预测 结果 进行 有 效 修正 ， 就 成 




















各、 模糊 推理 统 








一 成 为 框架 的 知识 表示 ， 对 中 心 渔场 的 预测 结果 加 以 修正 ， 并 将 领域 专家 修 
大 部 分 : 原子 集 、 规 则 集 、 结 论 集 ， 分 别 与 三 种 模型 相对 应 。 三 种 模型 的 的 应 用 使 专家 预测 
系统 适应 了 可 扩展 性 、 规 则 定义 的 灵活 性 的 基本 原则 。 

模型 一 :框架 模型 KBIF. H 




















家 可 以 依据 框架 结构 ， 








E 系 统 划分 为 三 





























灵活 设 定制 约 


E 架 模型 的 知识 表示 对 多 种 制约 因 
因素 ， 各 









































整体 性 的 系统 ， 
修正 系统 原子 集 上 
细 分 ， 分 解 形成 














可 表示 的 制约 因 
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并 以 它 引 导 各 元 素 互 相合 作 达 成 目标 。 
的 构造 方法 如 下 : 首先 ， 对 中 心 渔场 形成 而 受到 的 多 种 














金正 规则 的 最 基本 元 素 ， 每 个 
素 的 全 体 则 称 为 原子 集 ， 即 框架 。 
素 ， 其 中 每 一 











因 


因素 成 为 预测 规则 的 一 个 原子 
原子 集 利 用 KBIF 的 知识 表示 原理 ， 定 义 了 
素 可 以 作为 框架 的 模 。 
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素 进行 规则 表示 ， 使 领 : 
因素 间 通 过 不 断 沟通 ， 形 成 一 个 具有 一 致 





Le 








Le 总 
TT 











因素 的 制约 加 以 
， 而 此 类 基本 元 
预测 算法 的 所 有 











框架 整体 命名 为 “修正 系统 规则 集 ” 























并 将 框架 分 解 为 三 层 ， 分 别 包括 : 
风向 、 降水 ， 气温 、 气压 、 时 间 、 




















均 。 流 系 包 括 : KAN KEKEME KARE KARRAR EEKE EH 


台 站 数据 、 长 江 径 流量 、 流 系 等 。 台 站 数据 包括 了 : 风速 、 
水 温 、 盐 度 、 





站 名 等 因素 。 长 江 径流 量 包括 : 时 间 、 月 平 







































































盐 度 梯 度 、 底 层 水 温 、 底 层 水 温 梯度 、 底 层 盐 度 、 底 层 盐 度 梯 度 、 时 间 、 叶 绿 素 。 原 子 集 序 




















列 可 以 根据 领域 专家 对 制约 因素 的 深入 了 解 不 断 扩 展 ， 适 应 了 中 心 渔场 的 预测 扩展 性 的 要 求 。 





模型 二 : 黑板 结构 。 我 们 在 KBIF AEN 





使 用 者 可 任意 地 经 同 质 性 及 异 
统 则 能 在 广义 式 黑 板 系 统 


















































1 上 建立 了 广义 式 黑 板结 构 子 系统 。 夭 由 此 子 系统 ， 























支持 决策 概念 。 























zs 间 规划 成 阶层 式 子 结构 区 即 规则 集 ， 此 子 系 


质 性 切割 将 解 题 空 











我 们 定义 了 虚 黑 板 架 构 ， 并 依 特定 领域 即 渔业 资源 预测 的 特性 ， 将 之 转化 为 黑板 系统 。 


它 整 合 了 知识 源 即 原子 集 、 规 则 集 和 9 





























板 架 构 ， 其 中 包含 了 一 组 知识 原子 集 、 一 个 微 黑 板 及 一 个 规则 生成 控制 器 。 这 种 结构 将 知识 

















成 器 和 模糊 








推理 的 具体 应 用 。 系 统 结构 设计 成 一 微型 黑 














认识 层 与 经 验 推 理 层 有 效 的 结合 为 一 体 。 其 中 知识 原子 集 隐 含 在 系统 中 ， 与 框架 模型 相对 应 ， 














定义 了 模型 中 的 所 有 原子 集 ， 并 可 






































根据 需求 加 以 扩展 ， 规则 生成 控制 器 可 以 把 知识 原子 集 按 


照 专 家 提供 条 件 进行 组 合 ， 逐 一 列 入 黑板 ， 并 在 生成 器 中 提供 了 区 间 与 枚 举 两 种 功能 来 增进 














推论 的 效率 ， 最 终 产生 出 特定 规则 。 




















家 经 验 推 理 的 负荷 ， 避 免 因 着 重 了 
， 同 时 也 增强 了 知识 表示 法 和 有 效 的 推论 能 力 以 解决 问题 。 

















的 图 形 界面 来 表达 这 样 的 结构 




















这 种 方式 提供 了 渐进 地 建立 知识 规则 能 力 ;， 也 减轻 了 专 
F 知 识 的 内 部 结构 ， 而 忽略 了 所 表达 的 领域 知识 。 系 统 使 用 





























模型 三 ， 模 糊 






































用 模糊 


在 专家 预测 修正 系统 的 规 贝 
渔 产 量 大 小 应 用 模糊 定义 ， 将 CBR 预测 出 





























j 结 论 集 合 中 , 对， 
的 渔场 数据 通过 向 量 修 正 ， 得 到 新 的 预测 数据 。 并 





























里 。 里 的 方法 将 规则 运用 在 范例 推理 得 到 的 结果 集 上 ， 对 中 心 
渔场 的 预测 进行 合理 的 修正 ， 从 而 使 预测 结果 更 准确 有 效 。 


















































心 渔场 的 位 置 (X 轴 , Y AD 向 、 渔 场 大 小 、 





























加 入 了 权 序 列 模 式 ， 即 定义 出 每 一 结论 的 可 信和 度 ， 对 相似 条 件 下 的 结论 按 可 信 度 进行 排列 。 











5.13.5 实验 结果 


系统 的 结构 如 图 5.6 所 示 ， 历 史 数 据 经 过 适当 的 聚 类 、 变 换 等 预 处 理 ， 保 存在 海 况 、 渔 况 





在 预测 结束 后 可 以 对 专家 结论 集 进行 修 ] 









































范例 库 〈 数 据 库 ) 中 。 为 了 提高 预测 精 
性 计算 方法 找 出 邻近 的 相似 的 渔场 序列 。 然 后 ， 



































度 ， 我 们 采用 了 多 策略 的 相似 检索 ， 利 用 不 同 的 相似 








利用 领域 专家 编辑 的 、 已 经 保存 在 系统 中 的 





专家 规则 对 预报 结果 进行 修正 。 机 器 学 习 的 知识 与 人 类 专家 的 知识 结合 起 来 使 用 ， 将 进一步 
提高 预报 的 精度 和 系统 的 可 靠 性 。 预 测 冬天 的 渔场 时 ， 我 们 就 可 以 不 考虑 夏天 的 历史 序列 











离 渔场 位 置 较 远 的 海 况 对 中 心 渔 



























































场 的 发 展 影响 不 大 ， 我 们 可 以 只 选择 那些 离 中 心 渔 场 较 近 的 























海 况 ， 从 600 来 个 海 况 属性 动态 地 选取 150 个 左右 。 这 样 ， 在 保障 预测 精度 的 前 担 下， 通过 
时 间 、 位 置 过 滤 ， 大 大 地 减少 计算 量 ， 系 统 响 应 控制 在 7 秒 钟 左右 。 可 视 化 的 人 机 交互 界面 ， 
为 中 心 渔 场 的 输入 、 预 报 结果 的 输出 、 海 况 信 息 的 检查 、 领 域 专家 的 修正 提供 了 很 好 的 接口 









































(图 5.7). 















































差别 ， 预 报 的 中 心 与 实际 的 
全 率 是 指 预测 渔场 与 实际 渔场 











心术 























我 们 采用 报 全 率 和 报 准 率 衡量 预测 的 结果 ， 报 准 率 是 指 预报 渔场 与 实际 渔场 中 心 位 置 的 





























昌 差 不 到 一 个 汐 区 ， 渔 业 专 家 则 认为 预测 精度 达到 80%。 报 














报 精度 达到 78%， 基 本 具备 了 





应 用 



























































渔 政局 合作 ， 着 手 应 用 到 实际 生产 预报 中 。 

















重 受 的 比例 。 我 们 的 回顾 性 预报 (回报 》 表明， 系统 的 平均 巴 
E iti. 














目前 我 们 已 经 完成 了 示范 试验 ， 正 在 与 上 海 
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浏览 范例 
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多 策略 相似 检索 
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图 5.8 ” 海 况 、 渔 场 布 图 
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描 





ea 





习 述 基于 范例 推理 的 适用 场合 ， 并 通过 流程 图 描述 基于 范例 学 习 的 一 般 过 程 。 
与 基于 规则 的 推理 (RBR) 相 比较 ，CBR 有 哪些 优点 ? CBR (CBL) 系统 的 学 习 能 力 体 


自己 的 语言 描述 什么 是 基于 范例 推理 ， 简 述 儿 个 CBR 系统 。 




















述 范例 的 表示 形式 以 及 基于 范例 推理 的 基本 思想 。 



































现在 哪里 。 
简 述 目标 范例 和 源 范例 的 几 种 相似 性 ， 并 比较 几 种 常用 相似 性 计算 距离 度量 方法 的 特点 。 








查阅 相关 资料 介绍 一 个 基于 范例 推理 的 应 用 系统 , 并 讨论 CBR 系统 中 包含 哪些 关键 问题 ， 























FR 




















在 应 用 系统 中 是 如 何 实现 的 。 




















具体 的 系统 说 明基 于 范例 推理 与 专家 系统 有 什么 区 别 。 
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6.1 概述 


Fie Na cer 
SBN 




















的 方法 ， 
的 依赖 关系 。 
它 刻画 ] 


贝 叶 斯 网 络 可 以 处 





贝 叶 















































理 不 完整 和 带 有 噪声 的 数据 集 ， 它 


贝 叶 斯 网 络 是 用 来 表示 变量 间 连 接 概率 的 图 形 模式 ， 它 提供 了 一 种 自然 的 表示 
用 来 发 现 数据 间 的 潜在 关系 。 在 这 个 网 络 中 ， 
斯 理论 给 出 了 信任 函数 在 数学 上 的 
言 任 度 与 证 据 的 一 致 性 及 其 信任 度 随 记 





























用 节点 表示 变量 ， 有 
+ 算 方法 ， 具 有 稳固 的 数学 基础 ， 
E 据 而 变化 的 增 量 学 习 特 性 ; 


概率 推理 




















因果 信息 





























在 数据 挖掘 



































性 ， 从 而 解决 了 数据 间 的 不 一 致 性 ， 其 至 






































] 概 率 测度 的 权重 来 描述 数据 间 的 
是 相互 独立 的 问题 ; 




















用 图 形 的 方法 描述 数据 间 











互 关 系 ， 语 义 清 晰 、 可 理解 性 强 ， 这 有 助 于 利用 数据 间 的 因果 关系 进行 预测 分 析 。 贝 叶 














法 正在 以 其 独特 的 不 确定 怕 








知识 表达 形式 、= 























特性 等 成 为 当前 数据 挖 据 众 多 方法 ， 























6.1.1 贝 叶 斯 网 络 的 发 展 历史 


贝 叶 斯 (Reverend Thomas Bayes 1702-1761) 学 派 商 基 性 的 工作 是 贝 叶 斯 的 论文 “ 关 























生前 3 
用 贝 叶 
m 
普遍 接受 。 二 十 世纪 初 ， 


















































斯 的 方法 导出 了 重要 上 
时 贝 叶 斯 方法 在 理论 和 实际 应 


oe 
忆 
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F 富 的 概率 表达 能 力 、 综 合 先 验 知 
最 为 引 人 注 目的 焦点 之 一 。 











识 的 增 量 















































都 对 贝 叶 斯 学 派 的 理论 作 H 
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的 决策 









































上 世纪 50 年 代 ， 以 罗 宾 











引起 统计 界 的 广泛 注意 ， 这 一 方法 很 快 就 显示 


J| 
里 论 ， 在 这 一 理论 中 , 


贝 叶 斯 解 

















于 几率 性 问题 求解 的 评论 ”。 或 许 是 他 自己 感觉 到 它 的 学 说 还 有 不 完善 的 地 方 ， 这 一 论文 在 他 
没有 发 表 ， 而 是 在 他 死 后 ,由 他 的 朋友 发 表 的 。 著 名 的 数学 家 拉 普 拉 
的 “相继 律 ”， 贝 叶 斯 的 方法 和 理论 逐渐 被 人 理 
中 还 存在 很 多 不 完善 的 地 方 ， 
大 利 的 菲 纳 特 〈B. de Finetti) 以 及 英国 的 杰 弗 莱 (Jeffreys 
要 的 贡献 。 第 二 次 世界 大 战 后 ， 瓦 尔 德 (Wald A.) 提出 了 统计 
占有 重要 的 地 位 ; 信 ， 
了 新 的 贡献 。1958 年 英国 最 悠久 的 统计 杂志 Biometrika 全 文 重新 刊登 了 贝 叶 斯 的 论文 
斯 (Robbins H.) 为 代表 ， 提 出 了 经 验 贝 叶 














PA EIER 
因而 在 十 九 世纪 并 


























息 论 的 发 展 也 对 贝 叶 斯 学 派 





























斯 方法 和 经 典 方法 相 











它 的 优点 ， 成 为 很 活跃 的 一 个 方向 。 





斯 (Laplace P. S.) 


向 边 表示 变量 间 


同时 
HH, 
相关 
的 相 
em 
学 习 
































。 但 
未 被 
H.) 


改 出 
，20 
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HE > 








随 着 人 工 智能 的 发 展 ， 尤 其 是 机 器 学 习 、 数 据 挖掘 等 兴起 ， 为 贝 叶 斯 理论 的 发 展 和 应 






































供 了 更 为 广阔 的 空间 。 贝 叶 斯 型 

















LE 论 的 内 涵 也 比 以 前 有 了 很 大 的 变化 。80 年 代 贝 叶 斯 网 络 
























































的 组 织 和 学 术 刊 物 ISBA。 














6.1.2 贝 叶 斯 方法 的 基本 观点 





贝 叶 斯 分 析 方 法 的 特点 是 使 用 概率 去 表示 所 有 形式 的 不 




















专家 系统 的 知识 表示 ，90 年 代 进 一 步 研究 可 学 习 的 贝 叶 斯 网 络 ， 用 于 数据 采掘 和 机 器 学 
近年 来 ， 贝 叶 斯 学 习 理 论 方面 的 文章 更 是 层出不穷 ， 内 容 涵 盖 了 人 工 智能 的 大 部 分 领域 ， 包 
括 因果 推理 、 不 确定 性 知识 表达 、 模 式 识 别 和 聚 类 分 析 等 。 并 且 出 现 了 专门 




















完 贝 叶 斯 

















定性 ， 学 习 或 其 它 形式 的 




















] 提 
用 于 
习 。 











理论 





ERA 








用 概率 规则 来 实现 。 贝 叶 斯 学 习 的 结果 表示 为 随机 变量 的 概率 分 布 ， 它 可 以 解释 为 我 们 对 不 








同 可 能 性 的 信任 程度 。 贝 叶 斯 学 派 的 起 点 是 贝 叶 斯 的 两 项 工作 : 








ww ai bbt. com [1 HB DL O D D] 

















贝 叶 斯 定理 和 贝 叶 斯 假设 。 
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贝 叶 斯 定理 将 事件 的 先 验 概率 与 后 验 概 率 联 系 起 来 。 假 定 随 机 向 量 x,60 的 联合 分 布 密度 是 





























P(X,0) ， 它 们 的 边际 密度 分 别 为 p(x), p(0) 。 一 般 情况 下 设 x 是 观测 向 量 ，0 是 未 知 参 数 向 

















量 ， 通 过 观测 向 量 获得 未 知 参数 向 量 的 估计 ， 贝 叶 斯 定理 记 作 : 


























sane O HG) poet) Cz(0) 是 9 的 先 验 分 布 ) (6.1) 


p(x) [2()* p(x|0)a0 




















从 上 式 我 们 可 以 看 出 ， 对 未 知 参数 向 量 的 估计 综合 了 它 的 先 验 信息 和 样本 信息 ， 而 传统 的 
参数 估计 方法 上 只 从 样本 数据 获取 信息 如 最 大 似 然 估计 。 贝 叶 斯 方法 对 未 知 参 数 向 量 估 计 的 一 























般 过 程 为 : 


























1. 将 未 知 参数 看 成 是 随机 向 量 。 这 是 贝 叶 斯 方法 与 传统 的 参数 估计 方法 的 最 大 区 别 。 




















2. ”根据 以 往 对 参数 9 的 知识 ， 确 定 先 验 分 布 X(0) ， 它 是 贝 叶 斯 方法 容易 引 


步 ， 因 此 而 受到 经 典 统计 界 的 攻击 。 
3. ”计算 后 验 分 布 密 度 ， 做 出 对 未 知 参 数 的 推断 。 















































| 起 争议 的 





在 第 二 步 ， 如 果 没 有 任何 以 往 的 知识 来 帮助 确定 x(0) ， 贝 叶 斯 提出 可 以 采用 均匀 分 布 作 



































为 其 分 布 ， 即 参数 在 它 的 变化 范围 内 ， 取 到 各 个 值 的 机 会 是 相同 的 ， 称 这 个 假定 




















为 贝 叶 斯 假 





设 。 贝 叶 斯 假设 在 直觉 上 易于 被 人 们 所 接受 ， 然 而 它 在 处 理 无 信息 先 验 分 布 ， 尤 其 是 未 知 参 

















数 无 界 的 情况 却 遇 到 了 困难 。 经 验 贝 叶 斯 估计 EB (Empirical Bayes Estimator) 把 经 典 的 方法 
































和 贝 叶 斯 方法 结合 在 一 起 ， 用 经 典 的 方法 获得 样本 的 边际 密度 p(x) ， 然 后 通过 下 式 来 确定 先 








14) z(0) : 


p(x) = | Opa] 0)d0 





6.1.3 贝 叶 斯 网 络 在 数据 挖掘 中 的 应 用 


L 贝 叶 斯 方法 用 于 分 类 及 回归 分 析 



































分 类 规则 发 现 是 根据 客体 的 特征 向 量 值 及 其 它 约束 条 件 将 其 分 到 菜 个 类 别 |! 





。 在 数据 挖 


























据 中 ， 主 要 研究 如 何 从 数据 或 经 验 中 学 习 这 些 分 类 规则 。 对 于 分 类 问题 ， 有 些 情况 下 ， 输 入 
特征 向 量 唯一 对 应 着 一 个 类 别 ， 称 它 为 确定 性 的 分 类 问题 ， 而 有 些 情况 下 ， 则 会 出 现 类 别 的 





















































重合 现象 ， 也 就 是 说 ， 来 自 于 不 同类 别 的 样本 从 外 观 特征 上 具有 极 大 的 相似 性 ， 
能 说 某 一 样本 属于 某 一 类 别 的 概率 是 多 大 ， 然 而 我 们 却 必 须 为 它 选择 一 个 类 别 。 












































这 时 我 们 只 
贝 叶 斯 学 派 


采用 两 种 方法 处 理 这 种 情况 ， 一 是 选择 后 验 概率 最 大 的 类 别 ， 二 是 选择 效用 函数 最 大 《或 损 








失 最 小 ) 的 类 别 。 设 特征 向 量 不 = (x,,x)---x,) ， 类 别 向 量 C= (cc 6). 





分 类 的 目的 


EERE E X 归 入 到 某 个 类 别 c,(ie (1…7)) 中 , 第 一 种 方法 选择 后 验 概 率 最 大 的 类 别 , HI: 











P(c;|x) 2 P(c;|x) je(...1)， 此 时 取 判 别 函 数 : r (x)= P(e; |x). A Wil 
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E 明 ， 这 种 方 





法 能 够 保证 分 类 误差 最 小 。 

















第 二 种 方法 ， 在 决策 理论 9 
这 实际 上 与 不 确定 性 的 程度 密切 相关 。 设 把 属 了 























类别 c; 的 特征 向 


P 经 常用 到 ， 它 采用 平均 效益 的 大 小 来 衡量 决策 风险 的 大 小 ， 





HEX HERI BPR e n 





l 
的 损失 为 上 (X) ， 它 选择 损失 最 小 的 类 别 ， 即 : Minimize)’ L (x): P(c; | x)} ， 此 时 取 判 


"HX r (x)= SLOPE |x) 




















IH] 


在 数据 挖 
向 量 间 的 相关 性 等 来 确 
单 贝 叶 














HEH 




















j=l 























o LOCO 的 对 角 





线 元 素 取 为 0， 非 对 4 





9 线 元 素 取 为 1， 











分 类 的 损失 为 0， 错误 分 类 的 损失 都 相同 时 ， 风 险 损失 最 小 与 后 验 概率 最 大 是 等 价 的 。 











斯 (Naive Bayesian)、 贝 叶 斯 网 络 (Bayesian Network) 及 贝 叶 





Network ) 等 。 目 前 ， 贝 叶 斯 分 类 方法 已 在 文本 分 类 、 


的 应 用 。 
2. 用 于 因果 推理 和 不 















































贝 叶 斯 网 络 是 随机 变量 i 


角 定 知识 表达 
昌 的 概率 关系 的 图 表示 。 近 年 来 ， 贝 叶 斯 网 络 已 经 成 为 专家 系统 























中 不 确定 性 知识 的 主要 表示 方法 ， 











开 且 涌现 出 


大 








92]。 这 些 技术 在 数据 建 模 、 不 确定 性 
与 数据 挖掘 中 的 其 它 知识 表示 上 
斯 网 络 在 知识 表示 方面 具有 下 列 优点 [ 
- 贝 叶 斯 网 络 能 够 方便 的 处 到 








H 









































类 或 回归 问题 ， 对 标准 的 监督 学 习 算法 而 言 ， 变 量 间 的 相关 性 并 不 是 它们 处 型 
由 时 ， 它 们 的 预测 结果 就 会 出 现 4 























素 ， 当 这 些 变量 中 有 茶 个 缺 











Eg 























Cooper 1992]: 


不 完全 数据 。 例 如 考虑 


Ph， 对 贝 叶 斯 分 类 的 研究 主要 集中 在 如 何 从 数据 ! 


定 最 好 的 P(c; | x) fL CX) 。 现 已 具有 求解 它们 的 成 功 模型 ， 如 简 


等 方面 已 取得 了 相当 
的 方法 如 : 规则 表示 、 决 策 树 、 人 工 神经 网 络 等 相 比 ， 贝 叶 

















学 习 特 征 向 量 的 分 布 、 特 














斯 神经 网 络 (Bayesian Neural 





字母 识别 、 经 济 预测 等 领域 获得 了 成 功 








批 的 从 数据 学 习 贝 叶 斯 网 络 的 算法 [Cooper 





的 成 功 。 




















有 相关 关系 的 多 个 输入 变量 的 分 









































则 提供 了 较为 直观 的 概率 关 
叶 斯 网 络 能 够 学 习 变 量 
有 二 : 在 数据 分 析 中 ， 因 















































答 这 个 问题 ， 分 析 人 员 必 须知 


























因 








过 实际 建 模 人 








本 数据 稀 玻 或 数据 较 难 获得 的 时 候 ， 


KXK. 
EJ RS) D 
果 关 系 有 利于 对 
第 的 预测 。 例 如 市 场 销售 分 析 人 员 想 知 
， 在 某 种 程度 上 ， 
即使 没有 这 方面 的 实验 数据 ， 贝 叶 斯 网 络 对 这 类 问题 的 回答 也 是 相当 简单 的 
果 关 系 已 经 包含 在 贝 叶 斯 网 络 中 了 。 
。 贝 叶 斯 网 络 与 贝 叶 斯 统计 相 结合 能 够 充分 利用 领域 知识 和 相 
FE 务 的 人 都 会 知道 ， 先 验 信息 或 领域 知识 在 建 模 方面 的 重要 性 ， 尤 
一 些 商 业 方 面 的 专家 系统 完全 
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RRR. K 








RR 





ue 


AH 














Me 




















领域 知 i 
增加 广告 投入 

















的 关键 因 
。 而 贝 叶 斯 网 络 

















ps yee 
YAS 


RAN 
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系 是 数据 挖掘 中 的 极为 重要 的 模式 。 
只 的 理解 ， 在 干扰 较 多 时 ， 便 于 作 
能 提高 产品 的 销量 。 为 


提高 销量 的 原因 。 
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AE 


投入 是 否 是 


AEH XE 




















Jm 









































民 好 的 例证 。 





构建 就 是 一 个 贝 叶 

















示 依 赖 关系 的 强 








3. 用 于 聚 类 模式 发 现 


广义 上 讲 ， 聚 类 问题 是 一 和 
聚 类 的 任务 就 是 从 这 些 众多 的 模型 ， 




















模式 。 贝 叶 斯 方法 通过 综合 先 验 的 模型 





Vaithyanathan 等 提出 了 利 月 





弱 ， 将 先 验 信息 与 术 
。 贝 叶 斯 方法 与 其 它 模型 相 结合 


特殊 的 模型 选择 
， 通 过 一 定 的 分 析 、 
1 当前 的 数据 特点 ， 来 实现 选择 最 优 模型 的 目的 。 
日 贝 叶 斯 分 析 的 基于 模型 的 














因为 这 种 








, 








本 数据 的 信息 。 任 何 从 事 
是 在 样 
根据 领域 专家 知识 来 





























新 网 络 用 弧 表示 变量 间 的 依赖 关系 ， 用 概率 分 布 表 来 表 








EF 本 知识 有 
TARIFE 











, 


























VARA 

















问题 ， 每 个 聚 类 模式 都 可 以 看 作 是 一 利 








模型 。 
综合 策略 ， 选 择 出 体现 数据 本 质 的 











层次 聚 类 方法 [Vaithyanathan 98]。 它 
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通过 特征 集 的 划分 ， 将 数据 组 织 























层次 结构 。 这 些 特 征 或 者 在 每 个 类 别 中 都 有 唯 




















的 分 布 ， 


或 者 在 菜 些 类 别 中 具有 共同 的 分 布 。 它 同时 给 出 了 利用 边界 似 然 来 确定 模型 结构 的 方法 ， 包 








括 














动 决定 类 别 的 个 数 、 模 型 树 的 深度 和 每 个 类 别 的 特征 子 集 。 
AutoClass 是 利用 贝 叶 斯 方法 实现 聚 类 的 一 个 典型 系统 。 





















































该 系统 通过 搜索 模型 空 | 





司 所 有 的 





分 类 可 能 性 ， 来 自动 决定 分 类 类 别 的 个 数 和 模型 描述 的 复杂 性 。 它 允许 在 一 定 的 类 别 内 属性 
之 间 上 共有 一 定 的 相关 性 ， 各 个 类 之 间 具 有 一 定 的 继承 性 (在 类 层次 结构 中 ， 菜 些 类 共享 一 定 





























的 模型 参数 )。 读 者 可 从 
关 AutoClass 的 信息 


So 





以 上 仅仅 给 出 


这 些 ， 比 如 贝 叶 斯 方法 与 神经 网 络 相 结合 的 贝 叶 
斯 点 机 等 。 有 兴趣 的 读者 可 参考 相关 书籍 [Amari 85]. 











AY pump 






































贝 叶 斯 方法 的 几 个 典型 应 用 ， 然 而 贝 叶 
ian 






































6.2 贝 叶 斯 概率 基础 


6.2.1 概率 论 基础 





概率 论 是 研究 随机 现象 规 得 





斯 方法 在 数据 挖掘 9 
经 网 络 ， 贝 叶 斯 方法 与 统计 学 习 相 结合 


LE 性 的 数学 。 随 机 现象 是 指 在 相同 的 条 件 下 ， 划 





Ph 的 应 用 远 不 止 


网 页 http://ic-www.arc.nasa.gov/ic/projects/bayes-group/autoclass 看 到 有 




















出 现 的 结果 是 


不 确定 的 现象 。 随 机 现象 又 可 分 为 个 别 随机 现象 和 大 量 的 随机 现象 。 对 大 量 随机 现象 进行 观 


察 所 得 到 的 规律 性 ， 被 人 们 称 为 统计 规律 
在 统计 上 ， 我 们 习惯 把 一 次 对 现象 的 观察 、 登 记 或 实验 叫做 一 次 试验 。 随机 性 试验 是 指 
同 的 条 件 下 ， 可 能 出 现 不 同 的 结果 , 但 所 有 可 能 结果 的 





对 随机 现象 的 观察 。 随 机 试验 在 完全 相 








"t. 


= 


















































范围 是 可 以 估计 的 ， 即 随机 试验 的 结果 具有 不 确定 性 和 可 预计 性 。 在 统计 上 ， 一 般 把 随机 试 


验 的 结果 ， 即 随机 现象 的 具 
随机 事件 是 指 试验 中 可 能 出 









































体 表现 叫做 随机 事件 , 简称 为 事件 。 
现 ， 也 可 
































数 是 指 全 部 观察 值 ( 即 样本 ) 中 拥有 该 标志 表现 的 单位 总 数 。 









































能 不 出 现 的 结果 。 在 随机 现象 

















， 某 标志 表现 


的 频 

























































































例 6.1 我们 为 研究 某 工 三 的 产品 质量 情况 ,采用 随机 抽样 检查 ， 各 次 检查 (试验 ) 的 数量 

( 即 样本 容量 ) 不 同 , 其 结果 记录 如 表 6. 1 所 示 。 
表 6.1 各 次 质量 抽查 结 

抽查 | 5 10 50 100 300 | 600 | 1000 | 5000 | 10000 

牛 数 

合 5 8 44 91 272 542 | 899 | 4510 8999 

频数 

合 1 | 0.8 | 0.88 | 0.91 | 0.907 | 0.892 | 0.899 | 0.902 | 0. 8997 

频率 

表 中 抽查 件数 是 指 每 次 试验 (每 个 样本 ) 的 单位 总 数 ， 这 只 是 为 说 明 问题 设计 的 ， 而 现实 统 
计 中 多 数 情况 下 只 有 一 个 样本 。 表 中 合格 频数 是 指 合格 品 这 种 标志 表现 在 各 样本 ， 








数 。 表 中 的 合格 频率 是 指 各 样本 的 合格 频数 占 
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各 数值 的 观察 
























































样本 单位 总 数 ( 样 本 容量 ) 的 比重 ， 即 机 
可 以 看 出 频数 与 频率 之 间 的 关系 ， 同 时 也 会 发 现 其 中 强 含 着 一 种 统计 



































规律 性 。 就 是 随 着 样本 单位 数 的 扩大 ,其 合格 率 稳定 























也 趋向 0.9 左右 。 





即 合格 频率 总 是 是 











的 单位 总 
日 对 频数 。 


RA 


一 个 固定 常数 p=0.9 摆动 。 可 见 p 是 这 一 系列 试验 的 统计 稳定 中 心 , 它 可 以 表明 一 次 检查 中 合 
格 品 出 现 的 可 能 性 ， 即 概率 。 


定义 6.1 











统计 概率 : 若 在 大 量 重复 试验 中 ， 事 件 A 发 生 的 频率 稳定 地 接近 于 一 个 加 
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定 的 








常数 p,， 它 表明 事件 A 出 现 的 可 能 性 大 小 ， 则 称 此 常数 p 为 事件 A 发生 的 概率 , TAA P(A), B 
p=P (A) (6. 1) 

















可 见 概率 就 是 频率 的 稳定 中 心 。 任 何事 件 A 的 概率 为 不 大 于 1 的 非 负 实数 ， 即 


0<P(A) <1 
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概率 的 统计 定义 与 频率 联系 紧密 易于 理解 ， 但 是 用 试验 的 




















有 时 甚至 是 不 可 能 的 。 因 此 我 们 常用 古典 概率 和 几何 概率 来 解决 概率 的 计算 等 问题 。 









































定义 6.2 古 : 








方法 来 求解 概率 是 很 麻烦 的 ， 











概率 : 设 一 种 试验 ， 有 且 仅 有 有 限 的 N 个 等 可 能 结果 ， 即 N 个 基本 事件 ， 而 















































A 事件 包含 着 其 中 的 kK 个 可 能 结果 ， 则 称 KAN 为 事件 A 的 概率 ， 记 为 P(A)。 








K 
AY 2 — 6.2 
P(A) "m ( 




















古典 概率 的 计算 需要 知道 全 部 的 基本 事件 数目 ， 它 局 限于 


























体 或 全 部 基本 事件 未 知 的 情况 之 下 ， 求 解 概率 需 采 用 几何 概 型 


的 一 般 性 定义 。 





几何 型 随机 试验 : 假设 & 是 M 维 空间 中 的 一 个 有 界 








随机 试验 是 向 8 内 均匀 地 投掷 一 随机 点 ， 并 假设 : CIO ”随机 
处 ， 但 不 可 能 落 在 @ 之 外 。(2) ”随机 点 在 o 中 分 布 均匀 ， 即 


该 区 域 之 X 维 体积 成 正比 , 而 与 区 域 的 形状 及 在 Q 4 
几何 型 随机 试验 ;@ 是 基本 事件 空间 。 


区 域 , 现 以 Lo) 表示 o 的 体积 ， 考 虑 


) 


离散 的 有 限 总 体 。 而 对 无 限 总 
， 同 时 几何 概 型 也 提供 了 概率 





点 可 能 落 到 区 域 Q 内 的 任何 一 
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TEX Q 中 任何 区 域 的 可 能 性 与 











FP 的 位 置 无 关 。 在 上 述 条 件 下 我 们 称 试验 为 














几何 型 随机 试验 中 的 事件 : 假设 Q 是 几何 型 随机 试验 的 基本 事件 空间 , A 是 & 中 可 以 用 体 


积 来 度量 的 子 集 , LO) 是 A 的 






































来 表示 。 


定义 6.3 几何 概率 : 假设 Q 是 几何 型 随机 试验 的 基 











M 维 体 积 。 那 么 “随机 点 落 入 区 域 A 内 “的 事件 以 A 表示 。, 在 8 
中 能 用 体积 度量 的 子 集 叫 可 测 集 ， 每 一 个 可 测 集 都 可 视 为 一 个 事件 ,一 切 可 测 子 集 的 集合 以 F 



































本 事件 空间 ,F 是 Q 中 一 切 可 测 集 的 





Ec, 则 对 于 F 中 的 任意 事件 A 的 概率 P(A) 为 A 与 8 的 体积 之 比 ， 即 














P(A) 


VA 
CO) 


定义 6.4 At 











(6. 3) 





概率 :我 们 把 事件 B 已 经 出 现 的 条 件 下 , 事件 A 发 生 的 概率 记 做 为 P(A|B)。 


并 称 之 为 在 B 出 现 的 条 件 下 A 出 现 的 条 件 概 率 ， 而 称 P(A) 为 无 条 件 概率 。 
例 6.2 袋子 中 有 两 个 白色 球 和 一 个 黑 球 ， 现 依次 从 袋子 中 取出 两 个 球 ， 试问 : (1) 第 一 次 











取出 白 球 的 概率 ? (2) 

















球 的 条 件 下 ， 第 二 





(2) 在 不 重复 












































次 仍 取得 白 球 的 事件 。 根 据 定义 有 : 
(1) 不 论 是 重复 抽取 还 是 不 重 服 抽取 , P (A) —2/3 


+. 



































取 时 :P(B|A) =1/2 
(3) 在 可 重复 抽取 时 :P(B|A) 二 P(B) 二 2/3, 即 相当 于 无 条 伯 
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已 知 第 一 次 取得 白 球 的 条 件 下 ， 第 二 次 仍 取得 白 球 的 概率 ? 
解 : 设 A 为 第 一 次 取得 白 球 的 事件 ,B 为 第 二 次 取得 白 球 的 事件 ， 则 {B|A} 为 第 一 次 取得 白 


























HEK. 


若 事 件 A 与 B 中 的 任 一 个 出 现 , 并 不 影响 另 一 事件 出 现 的 概率 , 即 当 P(A) =P (A - B) ER P (B) 
=P(GB.A) 时 ， 则 称 A 与 B 是 相互 独立 的 事件 。 
定理 6.1 加 法 定理 














P (A+B) = P(A) +P (B) 


两 个 不 相 容 ( 互 斥 ) 事件 之 和 的 概率 , 等 于 两 个 事件 概率 之 和 , B 


LA 5 A HR, D] P(A) +P (A) 





两 个 互 逆 事 件 A 和 A” 的 概率 之 和 为 1。 即 当 A+A- —0, H 
=1, BHA P(A) =1-P(A"). 
若 A、B 为 两 任意 事件 ， 则 : 
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P (A+B) =P (A) +P (B) —P (AB) 
成 立 。 此 定理 可 推广 到 三 个 以 上 事件 的 情形 : 
P (A+B+C) =P (A) +P (B) +P (C) -P (AB) -P (BC) -P (CA) +P (ABC) 。 
定理 6. 2 乘法 定理 
设 A、B 为 两 个 不 相 容 ( 互 斥 ) 的 非 零 事件 ， 则 其 乘积 的 概率 等 于 A 和 了 概率 的 乘积 
P(A-B) =P(A) -P(B) =% P(A-B) =P (B) -P(A) 
设 A、B 为 两 个 任意 的 非 零 事 件 ， 则 其 乘积 的 概率 等 于 A( 或 B) 的 概率 与 在 A( 或 B) 出 现 的 
条 件 下 B( 或 和) 出 现 的 条 件 概率 的 乘积 
P(A+B) = ue P(B|A) BK P(A-B) =P(B) :P(A|B) 
此 定理 可 以 推广 到 三 个 以 上 事件 的 乘积 情形 , 即 当 n 个 事件 的 乘积 P(AA:.A- > 0 时 ， 则 
乘积 的 概率 为 : 
P (AiA2...An) =P (Ai) +P (As|Ai) + P (As|AiAs)...P (An | AAA 1) 
当 事 件 两 两 独立 时 ， 则 有 : 
P (AiAz..An) =P (Ai) - P (Az) -P (A)... P (An) 
































































































































6.2.2 贝 叶 斯 概率 


1. 先 验 概率 。 先 验 概率 是 指 根 据 历史 的 资料 或 主观 判断 所 确定 的 各 事件 发 生 的 概率 ， 该 
类 概率 没 能 经 过 实验 证 实 ， 属 于 检验 前 的 概率 ， 所 以 称 之 为 先 验 概 率 。 先 验 概率 一 般 分 为 两 
K, 一 是 客观 先 验 概率 ， 是 指 利用 过 去 的 历史 资料 计算 得 到 的 概率 ， 二 是 主观 先 验 概率 ， 是 
指 在 无 历史 资料 或 历史 资料 不 全 的 时 候 ， 只 能 凭借 人 们 的 主观 经 验 来 判断 取得 的 概率 。 

2. 后 验 概 率 。 后 验 概率 一 般 是 指 利用 贝 叶 斯 公式 ， 结 合 调 查 等 方式 获取 了 新 的 附加 信息 ， 
对 先 验 概率 进行 修正 后 得 到 的 更 符合 实际 的 概率 。 

3. 联合 概率 。 联 合 概率 也 叫 乘法 公式 ， 是 指 两 个 任意 事件 的 乘积 的 概率 ， 或 称 之 为 交 事 
件 的 概率 。 

4. 全 概率 公式 。 如 果 影 响 事件 A 的 所 有 因素 Bi, Bo, .… 满 是 :Bi* B50, (i#j) 


A: P(UB,)=1, P(B,)>0,i=12,... 















































































































































则 必 有 : P(A) => P(B)P(A|B,) (6. 4) 


5 贝 叶 斯 公式 
贝 叶 斯 公式 , 也 叫 后 验 概率 公式 , 还 叫 逆 概率 公式 , 其 用 途 很 广 。 
设 : 先 验 概率 为 P(B;) 
调查 所 获 的 新 附加 信息 为 P(Aj|B 
i-ls-2s sn 
JEI 25.5 m 
则 贝 叶 斯 公式 计算 的 后 验 概率 为 : 
P(B, | A,) = Oe | B;) i 
> P(B,)P(4, |B) 
例 6.3 某 厂 生产 的 某 种 产品 , 由 三 个 生产 小 组 都 生产 两 种 规格 的 该 产品 , 其 有 关 产 量 资料 
如 表 6. 2 所 示 : 
















































































表 6.2 三 个 小 组 的 日 产 单位 : 件 


linh 
lu 
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第 一 组 Al 2 000 1 000 3 000 
第 二 组 A2 1 500 500 2 000 
第 三 组 A3 500 500 1 000 
t tw 4 000 2 000 6 000 


























现 从 这 6000 件 产 品 中 随机 抽取 一 件 ， 完 成 如 下 各 问 。 
1. 用 古典 概率 计算 下 列 概率 : 
1) 分 别 计算 该 产品 是 第 一 、 二 、 三 组 生产 的 概率 
fi: P(A1) =3000/6000=1/2 
P (A2) =2000/6000=1/3 
P (A3) —1000/6000— 1/6 
2) 分 别 计算 该 产品 为 哪 一 型 号 的 概率 ? 
fit: P(B1) =4000/6000=2/3 
P (B2) =2000/6000=1/3 
3) 计算 该 产品 既是 第 一 组 生产 的 又 是 Bl 型 的 概率 
fif: P(A1.B1) =2000/6000=1/3 
4) 若 已 知 该 产品 为 第 一 组 生产 的 , 问 其 为 Bl 型 产品 的 概率 ? 
fit: P(B1|A1) =2000/3000=2/3 
5) 若 发 现 该 产品 是 B2 型 产品 , 求 其 由 第 一 、 二 、 三 组 生产 的 概率 分 别 为 多 少 ? 
fit: P(A1|B2) =1000/2000=1/2 
P(A2|B2) =500/2000=1/4 
P (A3|B2) —500/2000— 1/4 
2. 用 条 件 概率 计算 
D 若 已 知 该 产品 为 第 一 组 生产 的 , 问 其 为 Bl 型 产品 的 概率 ? 
P(BIJAD) = (1/3)/ (1/2) =2/3 
2) 若 发 现 该 产品 是 B2 型 产品 , 求 其 由 第 一 、 二 、 三 组 生产 的 概率 分 别 为 多 少 ? 
P (A1|B2) = (1/6) / (1/3) =1/2 
P (A2|B2) = (1/12) / (1/3) =1/4 
P (A3|B2) = (1/12) / (1/3) 21/4 
3. 用 贝 叶 斯 后 验 概 率 公 式 分 别 计算 如 下 两 问 。 
1) El: P(B1) =4000/6000=2/3 
P (B2) =2000/6000=1/3 
P (A1|BI) =1/2 
P (A1 |B2) =1/2 
求 : 当 发 现 抽出 的 该 产品 是 第 一 组 Al 生产 的 ， 问 该 产品 是 B2 型 概率 为 多 少 ? 
解 : 计算 各 联合 概率 有 : 
P (B1)P (A1|B1) = (2/3) (1/2) =1/3 
P (B2) P (A1 |B2) = (1/3) (1/2) 21/6 
计算 全 概率 有 : PO) = 0/3) * (1/6) =1/2 
则 用 贝 叶 斯 公式 有 : P(B2|A1) = (1/6) = 072) =1/3 
2) 已 知 : P(AI)—3 000/6 000—1/2 
P(A2) =2 000/6 000—1/3 
P (A3) —1 000/6 000—1/6 
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P(B2|A1) =1 000/3 000=1/3 
P(B2|A2) =500/2 000=1/4 
P(B2|A3) =500/1 000=1/2 








: 当 发 现 该 产品 为 B2 型 的 , 问 其 由 第 一 、 二 、 三 组 生产 的 概率 各 为 
: 计算 联合 概率 有 : 
P(A1)P (B2]A1) = (1/2) (1/3) =1/6 
P (A2) P (B2 |42) = (1/3) (1/4) =1/12 
P (A3) P (B2]A3) = (1/6) (1/2) =1/12 
计算 全 概率 P(B2) 为 : 
P (B2) =5P (Ai) P(B2 | Ai) 
= (1/2) (1/3) € 1/3) (1/4) + (1/6) (1/2) 21/3 
] 贝 叶 斯 公式 计算 后 验 概率 分 别 为 : 
P (A1|B2) = (1/6) + (1/3) =1/2 
P (A2|B2) = (1/12) + (1/3) =1/4 
P (A3|B2) = (1/12) + (1/3) 21/4 














m 























F 


c— 

















6.3 贝 叶 斯 问题 求解 








贝 叶 斯 学 习 理论 利用 先 验 信息 和 样本 数据 来 获得 对 未 知 样本 的 估计 ， 而 
和 条 件 概 率 ) 是 先 验 信息 和 样本 数据 信息 在 贝 叶 斯 学 习 理 论 中 的 表现 形式 。 
































多 少 ? 


概率 〈 联 合 概率 
如 何 获得 这 些 概 




















率 《〈 也 称 之 为 密度 估计 ) 是 贝 叶 斯 学 习 理 论争 议 较 多 的 地 方 。 贝 叶 斯 密度 佑 
样本 的 数据 信息 和 人 类 专家 的 先 验 知识 获得 对 未 知 变量 《向量 ) 的 分 布 及 其 
有 两 个 过 程 : 一 是 确定 未 知 变量 的 先 验 分 布 ， 一 是 获得 相应 分 布 的 参数 估计 


















































计 研 究 如 何 根据 
参数 的 估计 。 它 
。 如 果 以 前 对 所 





























有 信息 一 无 所 知 ， 称 这 种 分 布 为 无 信息 先 验 分 布 ， 如 果 知 道 其 分 布 求 它 的 分 
有 信息 先 验 分 布 。 由 于 在 数据 挖 据 中 ， 从 数据 中 学 习 是 它 的 最 基本 特性 ， 所 
布 是 贝 叶 斯 学 习 理 论 的 主要 研究 对 象 。 

选取 贝 叶 斯 先 验 概率 是 用 贝 叶 斯 模型 求解 的 第 一 步 ， 也 是 比较 关键 的 
先 验 分 布 的 方法 有 主观 和 客观 两 种 。 主 观 的 方法 是 借助 人 的 经 验 、 专 家 的 知 
验 概 率 。 而 客观 的 方法 是 通过 直接 分 析 数 据 的 特点 ， 来 观察 数据 变化 的 统计 






















































































布 参数 ， 称 之 为 
以 无 信息 先 验 分 





步 。 常 用 的 选取 
识 等 来 指定 其 先 


特征 ， 它 要 求 有 



































足够 多 的 数据 才能 真正 体现 数据 的 真实 分 布 。 在 实际 应 用 中 ， 这 两 种 方法 经 
































常 是 结合 在 一 起 


使 用 的 。 下 面 给 出 几 种 常用 的 先 验 概率 的 选取 方法 ， 为 此 我 们 首先 给 出 儿 个 定义 。 





令 0 表示 模型 的 参数 ，XX = (x,x;,…x, ) 表示 观测 数据 ，A(0) 是 参数 


表示 在 没有 任何 证 据 出 现 的 情况 下 ， 对 参数 的 信任 程度 。 




















I(x,,x4,::x, |0) p(x, xXx, |O0) 是 似 然 函 数 ， 它 表示 在 已 知 参数 的 情 











的 先 验 分 布 ， 它 


况 下 ， 对 未 知 样 





本 的 信任 程度 。h(0 | x ,xX ,… oc p(0 | xo x4, x.) 表示 观测 到 新 证 据 后 ， 对 参数 信任 程 

















度 的 改变 。 贝 叶 斯 定理 清晰 地 表示 出 了 它们 之 间 的 关系 : 
Z(0)p(x,,x;,- X, 18) 
[ 2) pa, x, x, |0)40 











h(0|x,,x,, X,) = 
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oc z(8) (x, x», x, | 0) (6.6) 





定义 6.5 分 布 密度 的 核 : 如 果 随 机 变量 z 的 分 布 密度 fx) TAEA f (x) = cg(x)，, 其 

















中 c 是 与 x 无 关 的 常量 , PK gx) 是 了 (x) 的 核 , WA f(x) oc g(x) 。 只 要 知道 了 分 布 密度 的 核 ， 


利用 分 布 密度 在 全 空间 上 的 积分 为 1， 就 可 以 确定 相应 的 常数 。 因 此 ， 要 求 随机 变量 的 分 布 密 
度 ， 关 键 是 求 出 分 布 密度 的 核 。 


定义 6.6 充分 统计 量 : 对 参数 0 MA, Sx, x, ox) 称 为 充分 的 ， 如 果 不 论 9 的 
























































先 验 分 布 是 什么 ， 相 应 的 后 验 分 布 h(O x, xc, x) AE OR Quoc, x) 的 函数 。 


这 一 定义 明确 地 表示 了 样本 中 关于 9 的 信息 均 可 由 它 的 充分 统计 量 来 反映 , 因此 后 验 分 布 
通过 统计 量 与 样本 发 生 联 系 。 下 面 我 们 给 出 判断 一 个 统计 量 是 否 为 充分 统计 量 的 定理 ， 即 著 
名 的 奈 曼 因子 分 解 定理 : 


定理 6.3 若 样 本 x,,x, ox, 对 参数 9 的 条 件 密度 能 表示 成 g(X1,X,…X) 与 

























































































f (0,163, x, x, )) RER, Wl to o, x, ) 对 参数 是 充分 的 ， 反 之 亦 真 。 


6.3.1 几 种 常用 的 先 验 分 布 选取 方法 


1. 共 斩 分 布 族 

Raiffa 和 Schaifeer 提出 先 验 分 布 应 选取 共 斩 分 布 ， 即 要 求 后 验 分 布 与 先 验 分 布 属于 同一 
分 布 类 型 。 它 的 一 般 描述 为 : 

定义 6.7 WHA X126, ... ,加 ,对 参数 9 的 条 件 分 布 为 p 《xxz,.… Xn) 9)， 如 果 先 验 分 布 
密度 函数 x(0) 决定 的 后 验 密 度 Xx(0|x) 与 7(0) 同 属于 一 种 类 型 则 称 x(0) 为 p (x| 9) 的 共 
HEE o 

定义 6.8 设 P={ p(x|0):0 € O HV OABAN ME KBR, H — (x(0)) 是 2 的 先 
验 分 布 族 ， 假 设 对 任何 pe PP 和 xe 右 ， 得 到 的 后 验 分 布 X(0 |x) DRE H it, WEH H 
P SERED ARIE -o 
因为 当 样本 分 布 与 先 验 分 布 的 密度 函数 都 是 2 的 指数 函数 时 ， 它 们 相 乘 后 指数 相 加 ， 结 
果 仍 是 同一 类 型 的 指数 函数 ， 只 相差 一 个 常数 比例 因子 。 所 以 有 如 下 定理 : 

定理 6.4 ”如 果 随 机 变量 Z 的 分 布 密度 函数 1 (x) 的 核 为 指数 函数 ， 则 该 分 布 属于 共 圈 分 
布 族 。 

核 为 指数 函数 的 分 布 构成 指数 函数 族 。 指 数 函 数 族 包括 二 项 分 布 、 多 项 分 布 、 正 态 分 布 、 
Gamma 分 布 、Poisson 分 布 和 多 变量 正 态 分 布 等 。 它 们 都 是 共 轿 分 布 。 常 用 的 共 轿 分 布 还 有 
Dirichlet 分 布 。 

用 共 思 分 布 作 先 验 可 以 将 历史 上 做 过 的 各 次 试验 进行 合理 综合 ， 也 可 以 为 今后 的 斌 

验 结果 分 析 提 供 一 个 合理 的 前 提 。 由 于 非 共 轿 分 布 的 计算 实际 上 是 相当 困难 的 ， 相 比 之 

下 ， 共 圈 分 布 计算 后 验 只 需要 利用 先 验 做 乘法 ， 其 计算 特别 简单 。 可 以 说 共 轿 分 布 族 为 

贝 叶 斯 学 习 的 实际 使 用 铺 平 了 道路 。 

2. EAKR Jes Du] 
Ji f B Y PIR EHI AP Bf VE TRE REPE WR I BU AE E x 只 取 a 与 5 两 个 
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不 同 的 值 ， 比 较 下 面 两 种 情况 : 
(1) p(x =a)=0.98, p(x =a) =0.02 

















(2) p(x=a)=0.45, p(x =a)=0.55 

















很 明显 ，(1) 的 不 确定 性 要 比 〈2) 的 不 确定 性 小 得 多 ， 而 且 从 直觉 上 也 可 以 看 得 出 当 取 的 两 
个 值得 概率 相等 时 ， 不 确定 性 达到 最 大 。 


定义 6.9 设 随 机 变量 x 是 离散 的 ， 它 取 ai assa, 至 多 可 列 个 值 ， 有 HL p(x=4a,)= p, 





















































i-12,-, WHO = 一 》p, In p, OS x fü. EAE LAR a ， 它 的 概率 密度 函数 为 











D(x), E484 H(x) = -| p(x)In p(x), ARM, fees s my. 


Mog SAW tH, PAR BR LAE BARTZ, ETS AES, TR op A 
Ko 

BRAHE: 无 信息 先 验 分 布 应 取 参 数 EE HL VALER o CIE 3 f o 

可 以 证 明 ， 随 机 变量 《或 随机 向 量 ) 的 业 为 最 大 的 充分 必要 条 件 是 随机 变量 〈 或 随 
机 向 量 ) 为 均匀 分 布 。 因 此 ， 贝 叶 斯 假设 取 无 信息 先 验 分 布 是 “均匀 分 布 ”是 符合 信息 
论 的 最 大 科 原 则 的 ， 它 使 随机 变量 〈 或 随机 向 量 ) BURA. EMBED LAS et BUG BRA 
值 的 情况 加 以 证 明 。 
定理 6.5 设 随机 变量 x 只 取 有 限 个 值 ww，a ，…,a， ， 相 应 的 概率 记 为 pp spe Wx 的 


2 ; 1 
WH GO 最 大 的 充分 必要 条 件 是 : pj=p2=…* =pn 
n 













































































































































































II 














最 大 值 , 将 G 对 pi; 求 偏 微 























证 明 考虑 G(p1,p2, "py)-- > Pp, In p, AS p; - D; 为 求 
i=l i=l 











商 ， 并 令 侦 微 商 为 0， 得 方程 组 : 








0- — =-Inp;-1+ 4 ( 7=1, 2, +, n) 











l " 
求 得 p1= py … ps。 又 因为 Dp, =1 ， 所 以 p1= py … = ps- 一 o JERE 
n 


i=l 








-> In = Inn . RŽ, "ipio pao … =p 时 ，G(p1, pr cts Pn) 取得 最 大 值 。 

















对 于 连续 的 随机 变量 也 有 同样 的 结果 。 
由 此 可 见 ， 在 没有 任何 信息 确定 先 验 分 布 时 ， 采 用 无 信息 先 验 分 布 是 合理 的 。 这 时 当然 
需要 有 较 多 的 样本 数据 ， 进 行 较 多 次 的 计算 才能 得 较 好 的 结果 。 不 过 ， 无 法 指派 先 验 概率 分 
布 的 问题 还 是 相当 多 ， 所 以 关于 无 信息 先 验 分 布 的 贝 叶 斯 假设 仍然 有 重要 的 意义 
3. 杰 弗 莱 原 则 
杰 弗 莱 对 于 先 验 分 布 的 选取 做 出 了 重大 的 贡献 ， 它 提出 一 个 不 变 原 理 ， 较 好 地 解决 了 贝 
叶 斯 假设 中 的 一 个 了 矛盾， 并且 给 出 了 一 个 寻求 先 验 密 度 的 方法 。 杰 弗 莱 原则 由 两 个 部 分 组 成 : 
一 是 对 先 验 分 布 有 一 合理 要 求 ， 一 是 给 出 具体 的 方法 求 得 适合 于 要 求 的 先 验 分 布 。 
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在 贝 叶 斯 假设 中 存在 这 样 一 个 矛盾 : 如 果 对 参数 9 选用 均匀 分 布 ， 则 对 它 的 函数 (A) 作 





为 参数 时 ， 也 应 选用 均匀 分 布 。 反 之 当 对 g(0) 选用 均匀 分 布 时 ， 参 数 9 也 应 选用 均匀 分 布 。 


然而 上 述 的 前 提 中 ， 往 往 推导 不 出 相应 的 结论 。 杰 弗 莱 为 了 克服 这 一 矛盾 ， 提 出 了 不 变性 要 
求 ， 他 认为 一 个 合理 的 决定 先 验 分 布 的 准则 应 具有 不 变性 。 


若 决 定 9 的 先 验 分 布 为 x(0) ， 根 据 不 变性 准则 ， 决 定 它 的 函数 g(0) 07-8 zr, ( (0) IS 
满足 下 面 的 关系 : 
z(0) = z,(g(8))| g (0)| (6.7) 
















































































问题 的 关键 在 于 如 何 找 到 满足 上 面 要 求 的 先 验 分 布 z(0) «PEDE TO IP A ZU SAE 














的 一 个 不 变性 质 找到 了 要 求 的 Xx(0)。 








参数 0 的 先 验 分 布 应 以 信息 阵 7(6) 行列 式 的 平方 根 为 核 ， 即 aO xc| 1() ^, Jb 


0) 


CIE AGT sn onn L Ten Sai ) 


00 00 
具体 推导 过 程 ， 这 里 不 再 给 出 ， 可 参考 相关 文献 。 值 得 指出 的 是 ， 杰 弗 莱 原则 是 一 个 原则 性 
的 意见 , 用 信息 阵 7(O) 行列 式 的 平方 根 选取 先 验 分 布 是 一 个 具体 的 方法 , 这 两 者 是 不 等 同 的 ， 


还 可 以 寻求 更 适合 体现 这 一 准则 的 具体 方法 。 


1(0)= E( 



































































































































6. 3. 2 计算 学 习 机 制 


任何 系统 经 过 运行 能 改善 其 行为 ， 都 是 学 习 。 到 底 贝 叶 斯 公式 求 得 的 后 验 是 否 比 原来 信 
RAMAR? 其 学 习 的 机 制 是 什么 ? 现 以 正 态 分 布 为 例 进行 分 析 ， 从 参数 的 变化 看 先 验 信 
上 县 和 样本 数据 在 学 习 中 所 起 的 作用 。 

WXX X, 是 来 自 正 态 分 布 NC0，ay 2 的 一 个 样本 ， 其 中 BS, ORM. NT 
R 9 的 估计 量 9 ， 取 另 一 个 正 态 分 布 V(A o2) 作为 该 正 态 均值 9 的 先 验 分 布 ， 即 取 先 验 为 : 
1 (0)= N(u,,0,) 。 用 贝 叶 斯 公式 可 以 计算 出 后 验 仍 为 正 态 分 布 :AM 9| X,J=N(a, , d; ); 
H "n. 







































































































































































"Xx, 1 n 1 n 1 n 
X m e Lu rmm + x,)/ + , a? =(—+—)". 
X, 2, n 1 = Ho ym i z) 1 = a” 
用 后 验 h 0| XRK a 作为 2 的 估计 值 ， 有 : 
0 -E( 0 | CM H—- E) d; (6.8) 


0 1 
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此 可 见 ， 这 样 得 到 的 9 的 估计 值 6 是 先 验 分 布 中 的 期 望 w ,与 样本 均 人 x 的 加 权 平 均 。 
因为 cy N (to oi) 的 方差 ， 它 的 倒数 1/02 就 是 4 ov 的 精度 。 样 本 均值 元 的 方差 是 ar /n, 
它 的 倒数 w of) 就 是 样本 均值 x 的 精度 。 可 知 是 将 wo 与 按 各 自 的 精度 加 权 平 均 。 方 差 越 
小 者 精度 越 高 ， 在 后 验 均值 中 所 占 的 比重 越 大 。 此 外 ,样本 的 容量 OKI} /n 越 小 ， 则 样 
本 均值 雹 在 后 验 均值 中 所 占 的 比重 越 大 。 当 n 相当 大 时 ， 先 验 均值 在 后 验 中 的 影响 将 变 得 很 
小 。 这 说 明 贝 叶 斯 公式 求 出 的 后 验 确实 对 先 验 信息 和 样本 数据 进行 了 合理 的 综合 ， 其 得 到 的 
结果 比 单独 使 用 先 验 信 息 或 样本 数据 都 更 完善 ， 其 学 习 机 制 确实 是 有 效 的 。 在 采用 其 它 共 斩 
先 验 分 布 的 情况 下 ， 也 有 类 似 的 结果 。 
从 前 面 的 讨论 可 知 ， 在 共 斩 先 验 的 前 提 下 ， 可 以 将 得 到 的 后 验 信 息 作为 新 一 轮 计算 的 先 
验 ， 与 进一步 获得 的 样本 信息 综合 ， 求 得 下 一 个 后 验 信 息 。 如 果 多 次 重复 这 个 过 程 ， 得 到 的 
后 验 信 息 是 否 越 来 越 接近 于 实际 结果 ? 对 这 个 问题 可 作 如 下 分 析 ; 
用 计算 得 到 的 后 验 分 布 h( 2 无)=MXeai ,ad7) 作 为 新 一 轮 计 算 的 先 验 时 ， 设 新 的 样本 
XX, Lo X, 来 自 正 态 分 布 WCLO，a2 其 中 2 已 知 ，9 待 估计 。 则 新 的 后 验 分 布 为: hf 
|X,)-N(a5, d2), 

















































































































































































































































































































2.x, 1 n l n 
Enn. X, = =F a = —a +— x. /( 一 十 一 , d? = 
2 2 2 7 1 o2 >) p a 2 ( 





1 n i 
一 二 一 ) 。 
2 2 
di o; 
































用 后 验 h( 0 x EEN a, = C Ee v 作为 4 的 估计 值 ， 由 于 
om (ey 


1 0 0 


1 n — NM 4 
a, = (— Hs +— x1) d; , 计算 可 得 : 
O O; 


0 


1 n 一 y 1 I= n . 2 
a, A ae ca Uds He oe aee -d3 


2 0 1 2 
1 mb — 2 n . 2 
= (hy Fd diT—x d; (6.9) 
0 1 2 





Xii roo, idi = (e+ y = (Gt t+ Syed? G+ 


2 1 05 Oo OO 2 0 1 














matah, (Èm tiem) .4d2<a ， 也 就 是 说 ， 由 于 新 样本 的 加 入 ， 先 验 和 旧 样 本 所 
c 0; 


0 

















占 的 比重 降低 。 由 式 (6.9) 容易 看 出 ， 当 新 的 样本 《〈 不 失 一 般 性 ， 假 定 容量 相同 ) 继续 增加 ， 


将 有 : 









































1 n- n. n. 2 
Qu = (— ko + Xit Xt n da 
0 1 2 Om 
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“nt YH) di (k= 1,2, ...,m) (6.10) 
= 


k=1 O; 








(6.10) 式 可 知 ， 如 果 所 有 新 的 样本 的 方差 相同 ， 则 等 同 于 一 个 容量 为 m Xn 的 样本 。 
以 上 过 程 将 先 验 和 各 样本 均值 按 各 自 的 精度 加 权 平 均 ， 精 度 越 高 者 其 权 值 越 大 。 由 此 可 见 ， 
如 果 能 正确 估计 先 验 分 布 密度 ， 就 可 以 使 用 少量 样本 数据 ， 进 行 少量 计算 而 得 到 较 满 意 的 结 
果 。 这 在 样本 难得 的 情形 特别 有 用 ， 这 也 是 贝 叶 斯 学 习 优 于 其 它 方法 之 处 。 因 此 先 验 分 布 的 
指派 在 贝 叶 斯 学 习 中 有 重要 的 意义 。 如 果 没 有 任何 先 验 信息 而 采用 无 信息 先 验 分 布 时 ， 随 着 
使 用 的 样本 增多 ， 样 本 信息 的 影响 越 来 越 显著 。 在 样本 的 噪音 很 小 的 前 提 下 ， 得 到 的 后 验 信 
息 也 将 越 来 越 接近 于 实际 ， 只 不 过 需要 大 量 的 计算 而 已 。 


6.3.3 贝 叶 斯 问题 求解 步骤 


贝 叶 斯 问题 求解 的 基本 步骤 可 以 概括 为 ; 

(1) ”定义 随机 变量 。 将 未 知 参 数 看 成 随机 变量 (或 随机 向 量 ), 记 为 0 。 将 样本 ons x». so Xn 
的 联合 分 布 密度 p(w xs... x 9) 看 成 是 xo Xz... XY OY OM A TE A) BE, m 
D(X), x5 ...,x. | OR p(D| 0). 

(2) 确定 先 验 分 布 密度 p( 9)。 采 用 共 轿 先 验 分 布 。 如 果 对 先 验 分 布 没 有 任何 信息 ， 就 采 
用 无 信息 先 验 分 布 的 贝 叶 斯 假设 。 

G) 利用 贝 叶 斯 定理 计算 后 验 分 布 密度 。 

(4) 利用 计算 得 到 的 后 验 分 布 密度 对 所 求 问 题 作 出 推断 。 

以 单 变 量 单个 参数 情形 为 例 ， 考 虑 “抛掷 图 钉 问 题 ” 将 图 钉 执 到 空中 ， 图 钉 落 下 静止 后 
将 取 以 下 两 种 状态 之 一 : 3k Chead) 着 地 或 尾 Cail) 着 地 。 假 设 我 们 抛 图 钉 N+1 次 ， 问 从 前 
N 次 的 结果 如 何 决定 第 N+1 次 出 现 头 的 概率 。 

第 一 步 ， 定 义 随机 变量 8， 其 值 2 对 应 于 抛 图 钉 头 着 地 的 物理 概率 可 能 的 真 值 。 密 度 函 
数 p(9) 表示 我 们 对 @ 的 不 确定 性 。 第 7 次 抛掷 结果 的 变量 为 闷 C1, 2,..., N+7)， 观 测 值 
的 集合 为 D={X1=x1,. . .， 融 =xn}。 于 是 将 问题 表示 为 由 p(9) 计 算 p Qnwn|D)。 

















































































































































































































































































































































































































































































































第 二 步 ， 用 贝 叶 斯 定理 获得 给 定 D 时 6 的 概率 分 布 ， p(0|D 人 - E Le 














p(D) = [p(D10)p(0)40 .. pO 2) 是 二 项 分 布 样本 的 似 然 函 数 。 如 果 已 知 @ 的 值 ( 即 参数 


0)， 则 五 中 的 观测 值 是 相互 独立 的 ， 并 且 任 何 一 次 观测 出 现 头 的 概率 是 0 ， 出 现 尾 的 概率 为 
(1- 9)。 于 是 : 

















(0)0"(1 — 9)' 
p(D) 


HE n Alt Ai ELE D 中 观测 到 的 头 和 尾 的 次 数 ， 称 为 二 项 分 布 样本 的 充分 统计 量 。 
第 三 步 ， 求 所 有 @ 的 所 有 可 能 的 值 的 平均 值 ， 作 为 第 ML 次 抛 撕 图 钉 出 现 关 的 概率 : 


P(X y,, = heads | D) = een = heads | 0) p(0 | D)d0 


p(6|p)- 2 (6.11) 


















































= [0: p(6| D)ao =Ey op 9) (6.12) 
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其 : Exc apy 0 yz 0 对 于 分 布 pP(9|D) 的 数学 期 望 。 
第 四 步 ， 为 9 指派 先 验 分 布 和 超 参 数 。 
指派 先 验 通常 采用 的 方法 是 先 假定 先 验 的 分 布 ， 再 确定 分 布 的 参数 。 假 定 先 验 是 Beta 分 


















































I(a) 


p0) Petal ae) E aT 
h t 


0” (1-0) (6. 13) 














其 中 a0 Ala 20 是 Beta 分布 的 参数 ，a= ajta, ， 个 (，) 是 Gamma Kt 7g TMA% 
9 相 区 别 , 将 as 和 a , 称 为 “ 超 参数 ”。 因 为 Beta 28/8 T 3592) f, 得 到 的 后 验 也 是 Beta 
分 布 : 











I(a -N) 
I (a, 4 h)T(a, t) 


对 于 这 个 分 布 ， 2 的 数学 期 望 有 一 个 简单 的 形式 ; 


p(9|D)- 9^0 98)" -Beta(0 | v, +h,æ, +t) (6.14) 












































Jo- Beta(0 |a,,a,)d0 = (6.15) 
[04 
于 是 ， 给 定 一 个 Beta 先 验 ， 我 们 得 到 第 N+1 次 抛掷 出 现 头 的 概率 的 一 个 简单 的 表达 式 ， 
P(X ya ol ehe Bul (6.16) 
CQ 二 AN 











fixe US p C0) 的 Beta 分 布 的 超 参数 有 多 种 方法 。 例 如 “想象 将 来 数据 法 ”和 “等 价 
样本 法 ” 其 他 方法 见 Winkler、Chaloner 和 Duncan 的 论文 。 使 用 想象 将 来 数据 法 ， 由 (6.16) 
式 可 得 到 两 个 方程 ， 便 可 求 出 Beta 分 布 的 两 个 参数 〈 超 参数 ) cv 和 a, 
在 单 变量 多 参数 一 种 变量 有 多 种 状态 〉 的 情形 ， 一 般 设 了 是 带 有 高 斯 分 布 的 连续 变量 ， 
假设 有 物理 概率 分 布 p (x| 9)， 则 有 1: 
p (| 6) =(Qav) T gem (其 中 a={u, v}) 
依照 二 项 分 布 的 做 法 ， 赋 予 参 数 变量 以 先 验 ， 应 用 贝 叶 斯 定理 
D={X =x), =X2,.…., XN=XN} 求 出 后 验 ， 也 就 是 学 习 这 些 参 数 : 
p (09D)=p (DI0)p © A) / p D) 
然后 取 9 的 可 能 的 值 的 平均 值 作 预 测 : 


pw D)= {px 6) p (0|D) de (6.17) 

对 指数 家 族 而 言 ， 计 算是 特别 有 效 的 而 且 是 封闭 的 。 在 多 项 样本 情形 ， 如 果 ox 的 观察 值 是 离 
散 的 ， 使 用 Dirichlet 分 布 作 为 共 斩 先 验 可 以 使 计算 简化 。 
贝 叶 斯 定理 的 计算 学 习 机 制 是 将 先 验 分 布 中 的 期 望 值 与 样本 均值 按 各 自 的 精度 进行 加 权 
平均 ， 精 度 越 高 者 其 权 值 越 大 。 在 先 验 分 布 为 共 斩 分 布 的 前 提 下 ， 可 以 将 后 验 信息 作为 新 的 
一 轮 计 算 的 先 验 ， 用 贝 叶 斯 定理 与 进一步 得 到 的 样本 信息 进行 综合 。 多 次 重复 这 个 过 程 后 ， 
样本 信息 的 影响 越 来 越 显著 。 由 于 贝 叶 斯 方法 可 以 综合 先 验 信息 和 后 验 信息 ， 既 可 避免 只 使 
用 先 验 信息 可 能 带 来 的 主观 偏见 ， 和 缺乏 样本 信息 时 的 大 量 盲 目 搜索 与 计算 ， 也 可 避免 只 使 
用 后 验 信息 带 来 的 噪音 的 影响 。 因 此 ， 适 用 于 具有 概率 统计 特征 的 数据 采 据 和 知识 发 现 问题 ， 
尤其 是 样本 难以 取得 或 代价 昂贵 的 问题 。 合 理 准确 地 确定 先 验 ， 是 贝 叶 斯 方法 进行 有 效 学 习 
的 关键 问题 。 目 前 先 验 分 布 的 确定 依据 只 是 一 些 准则 ， 没 有 可 操作 的 完整 的 理论 ， 在 许多 情 
况 下 先 验 分 布 的 合理 性 和 准确 性 难以 评价 。 对 于 这 些 问 题 还 需要 进一步 深入 研究 。 








































































































































































































给 定 观 测 样本 的 数据 集 
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6.4 简单 贝 叶 斯 学 习 模 型 











简单 贝 叶 斯 学 习 模 型 (Simple Bayes 或 Naïve Bayes ) 将 训练 实例 I 分 解 成 特征 向 量 XY 和 
决策 类 别 变量 Co 简单 贝 叶 斯 模型 假定 特征 向 量 的 各 分 量 间 相 对 于 决策 变量 是 相对 独立 的 , 也 
就 是 说 各 分 量 独立 地 作用 于 决策 变量 。 尽 管 这 一 假定 一 定 程度 上 限制 了 简单 贝 叶 斯 模型 的 适 
用 范围 ， 然 而 在 实际 应 用 中 ， 不 仅 以 指数 级 降低 了 贝 叶 斯 网 络 构建 的 复杂 性 ， 而 且 在 许多 领 
域 ， 在 违背 这 种 假定 的 条 件 下 ， 简 单 贝 叶 斯 也 表现 出 相当 的 健壮 性 和 高 效 性 [Nigam 98], "ZG 
经 成 功 地 应 用 到 分 类 、 聚 类 及 模型 选择 等 数据 挖掘 的 任务 中 。 目 前 ， 许 多 研究 人 员 正 致力 于 
改善 特征 变量 间 独 立 性 的 限制 [Heckerman 97]， 以 使 它 适 用 于 更 大 的 范围 。 
































































































































































































































6.4.1 简单 贝 叶 斯 学 习 模 型 




















贝 叶 斯 定理 告诉 我 们 如 何 通过 给 定 的 训练 样本 集 预 测 未 知 样本 的 类 别 ， 它 的 预测 依据 就 
P(C, A) = P(C,)* P(A|C;) 
VAT (6.18) 



































最 大 的 类 别 。 这 里 了 是 测试 样本 ，P(Y | X) 是 在 给 定 的 情况 下 YY 的 条 件 概率 。 等 式 右 侧 的 
概率 都 是 从 样本 数据 中 估计 得 到 的 。 设 样本 表示 成 属性 向 量 ， 如 果 属 性 对 于 给 定 的 类 别 独立 ， 
WA P(A | C.) 可 以 分 解 成 几 个 分 量 的 积 ，P(a, |C,)* P(a, | C,)*…P(a, | C) (这 里 w 是 
样本 下 的 第 i 个 属性 )。 从 而 后 验 概 率 的 计算 公式 为 : 

P(C). 
P(A) 5- 


这 个 过 程 称 之 为 简单 贝 叶 斯 分 类 (SBC: Simple Bayesian Classifier)。 一 般 认 为 ， 只 有 在 独 
性 假定 成 立 的 时 候 ，SBC 才能 获得 精度 最 优 的 分 类 效率 ; 或 者 在 属性 相关 性 较 小 的 情况 下 ， 
能 获得 近似 最 优 的 分 类 效果 。 然 而 这 种 较 强 的 限制 条 件 ， 似 乎 与 SBC 在 许多 领域 惊人 的 性 能 
很 不 一 致 ， 其 中 包括 属性 具有 明显 依赖 性 的 情况 。 在 UCT 的 28 个 数据 集中 ， 其 中 16 个 要 好 
T C4.5 的 性 能 ， 与 CN2 和 PEBLS 基本 相似 ， 许 多 研究 也 得 到 了 类 似 的 结论 [Clark & Niblett, 
1989; Dougherty Kohavi & Sahami, 1995]。 同时 也 有 一 些 研究 人 员 提 出 了 一 些 策略 以 改善 属 
性 之 间 独 立 性 的 限制 [Nigam 98], ， 获 得 了 一 定 的 成 功 。 
在 〈6.19) 中 的 概率 可 采用 样本 的 最 大 似 然 估计 : 

count(v , Ac;) 


P(v, | C.)  —————— (6.20) 
Op Rn) count(c,) 





















































P(C, | 4) = Pa ie IC,) (6.19) 
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为 了 防止 (6.19) 出 现 0 的 情况 , 当 实 际 计算 为 零 时 , 可 以 直接 指定 (6.19) 的 结果 为 0.3/N， 
这 里 N 为 例子 总 数 。 


假定 只 有 两 类 ,将 这 两 类 分 别称 为 0 类 和 1 类 : a, Ba, 表示 一 个 给 定 测试 集 的 属性 ; 















































b, = P(C =0),b, = P(C 21) -1-5, P o = P(A, =a, |C 0), p, = P(A, =a,|C =0) 
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ju: 


k 

p-P(C-l|A -a A 和 A =4,)=( [pz (6.21) 
j=l 
k 

q=P(C=0| A =a, AnA =a)=(| [pjo)bo /2 (6.22) 


j=l 








这 里 z 是 一 个 固定 常量 。 将 上 面 两 式 两 边 取 对 数 后 相 减 得 : 





k 
log p -log q = (Ylog pj -log p) * log b, - log b, (6.23) 
j-l 


j= 


KI, Ww, =log pj -log po b= log b, -log b。， 则 上 式 转化 为 : 





k 
log (1- p)/ p=- w, -b (6.24) 
j=l 
两 边 取 指数 ， 并 且 重 新 排列 : 


] (6.25) 


i -Xwj-b 
l+e”™ 


为 计算 该 式 ， 一 般 来 说 ， 假 定 属性 4 vC) 个 可 能 的 属 





F 值 ， 那么 当 : 





rr 





























w, =log P(A, =a, |c =1)-log P(A, =a; |c=0) (< jszwj) 6.26) 


时 ， 上 式 转 化 为 : 
1 
-( YP 4 =a ) wb 
l+e 2 2; Art gi 


(6.27) 





P(C(x) =) = 











RE, 是 一 个 示 性 函数 : WRG AR, MAI(p)=1, fi: 7(D) =0。 

















在 实际 计算 中 ， 上 式 只 需 根据 公式 〈6.20) 的 思想 即 可 计算 出 结果 。 
公式 〈6.27) 实际 上 是 一 个 具有 sigmoid 型 激励 的 感知 器 函数 。 该 函数 分 别 输入 每 一 个 属 
























































性 4 的 VD 方 个 可 能 的 值 。 因 此 简单 贝 叶 斯 分 类 器 在 特定 输入 场合 下 的 表达 能 力 与 感知 器 模型 















































是 等 价 的 。 进 一 步 的 研究 表明 ， 简 单 贝 叶 斯 分 类 器 可 以 推广 到 针对 数值 属性 的 逻辑 回归 方法 。 
在 此 考虑 公式 (6.20)， 如 果 A, 具有 离散 值 ， 那 么 count(A, =a, ^C = ci) 能 够 从 训练 
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例子 中 直接 计算 出 来 。 如 果 A, 是 连续 值 ， 那 么 就 需要 离散 化 该 属性 ， 使 用 非 监督 离散 化 将 该 
























































属性 离散 化 到 M 个 等 宽度 的 区 间 内 ， 一 般 M =10 。 也 可 以 使 用 更 复杂 的 离散 化 方法 ， 如 监 


督 离散 化 方法 。 
证 每 一 个 4 是 一 个 数值 属性 《离散 或 连续 )， 逻 和 辑 回归 假设 模型 ; 
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P(C =1| A, =a, A; = a) -Y5 
P(C-0|A =a, A, 2a) 


对 上 式 采 用 如 (6.24) 式 同样 的 变换 后 ， 得 到 : 


a, +b, (6.28) 








(6.29) 














显然 ， 这 也 是 具有 sigmoid 型 激励 的 感知 器 函数 ， 每 个 属性 作为 输入 的 单 节 点 的 感知 器 ， 并 且 
每 个 属性 值 以 它们 的 大 小 编码 。 用 一 个 g = aj 的 函数 f(g) PRD a, WR A, 的 范围 被 分 割 
















































































为 M 个 部 分 ， 那么 第 i 部 分 在 [cj , cy] ， 则 该 函数 就 是 : 





M 
ba, = f;(a;)= b .I(c $168) (6.30) 


i=l Ji jG-1) — 

















这 里 每 一 个 b; 是 一 个 常数 ， 综 合 公 式 〈6.29) (6300 可 以 得 到 : 





= "i € 54-1) $C ji —0p 
1+e (> ja `, ji ( (iD » 


这 就 是 最 终 的 回归 函数 。 因 此 简单 贝 叶 斯 分 类 是 逻辑 回归 的 一 种 非 参数 化 、 非 线性 的 扩展 。 
通过 设置 = (Cay +Cy) (2B,) ， 能 够 近似 得 到 标准 逻辑 回归 公式 。 
































6.4.2 ”简单 贝 叶 斯 模型 的 提升 


提升 方法 (Boosting) 总 的 思想 是 学 习 一 系列 分 类 器 ， 在 这 个 序列 中 每 一 个 分 类 器 对 它 
前 一 个 分 类 器 导致 的 错误 分 类 例子 给 与 更 大 的 重视 。 尤 其 是 ， 在 学 习 完 分 类 器 如 之后， 增加 





















































un 












































了 由 玖 ,导致 分 类 错误 的 训练 例子 的 权 值 ， 并 且 通 过 重新 对 训练 例子 计算 权 值 ， 再 学 习 下 一 个 











DRAG A, 。 这 个 过 程 重复 了 次 。 最 终 的 分 类 器 从 这 一 系列 的 分 类 器 中 综合 得 出 。 


在 这 个 过 程 中 ， 每 个 训练 例子 被 赋予 一 个 相应 的 权 值 ， 如 果 一 个 训练 例子 被 分 类 器 错误 















































分 类 ， 那 么 就 相应 地 增加 该 粒子 的 权重 ， 使 得 在 下 一 次 学 习 中 ， 分 类 器 对 该 例 代 表 的 情况 更 
加 重视 。 

提升 算法 对 两 类 分 类 问题 的 处 理 是 通过 Freund 和 Scbapire 给 出 的 AdaBoost 算法 实现 的 
[Freund 95]. 
算法 6.1 AdaBoost 算法 。 
Input: 


N 个 训练 实例 : < (xV: Ps (XN Vn) > 
N 个 训练 实例 上 的 分 布 DD:w，w 为 训练 实例 的 权 向 量 。 
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T 为 训练 重复 的 趟 数 。 


1. Initialize: 


2. 初始 化 训练 实例 的 权 向 量 。w =1/N i=(1...N) 





3. Jor t=) toT 











4. 给 定 权 值 w EHO : X > [0,1] 

5. (GERE H O ine, eO =F w | y, 一 h(x;) 
4 (t) = e? 

6. i P (- e?) 











7. 计算 下 一 轮 样 本 的 权 值 wW = wi (gto) nen 

















8， 正规 化 w* 了 ， 使 其 总 和 为 1 
9. End for 
10. Output: 
E Ls disc 
1 ] l no > log —— 
11 A(X) = if >) (log go (x) ; 24. (og po 


0  otherwize 





























在 这 里 假设 每 一 个 分 类 器 都 是 实际 有 用 的 ，e” «0.5, ， 也 就 是 说 ， 在 每 一 次 分 类 的 结 














果 中 ， 正 确 分 类 的 样本 个 数 始终 大 于 错误 分 类 的 样本 个 数 。 可 以 看 出 ，B <1， 当 

















Ly, -AO (x )| 增 加 时 ，wC 也 增加 ， 因 此 算法 满足 了 提升 的 思想 。 
对 算法 的 几 点 说 明 : 
(1) h(x) 采 用 公式 (6.27) 计算 得 出 ， 计 算 的 结果 或 者 为 0 或 者 为 1。 











(2) 公式 〈6.20) 中 ， 关 于 条 件 概率 的 计算 P(4) =a, |C- c) > X (6.20) 中 ， 

















在 未 考虑 权 值 的 情况 下 ，count(condition) 计算 操作 的 基准 是 1, 例如 有 天 个 





























例子 满足 condition 那么 count(condition) =k 。 在 考虑 权 值 的 情况 下 ， 









































count(condition) 计算 操作 的 基准 变 为 每 个 例子 的 权 值 ， 如 果 有 天 个 例子 满 


























Œ condition , IRA count(condition) = Y 。 通 过 调整 权 值 ， 体 现 了 提升 


的 思想 。 
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G) 所 谓 算法 的 输出 是 指 : 当 给 定 e 通过 算法 的 第 (6) 步 ， 就 可 以 利用 
以 前 每 次 增强 学 习 的 结果 ， 通 过 投票 输出 最 终 的 结果 。 
算法 最 终 的 联合 假设 可 以 定义 为 : 


ie, ses aco 
[eye Y. (logl/ 2‘) 


现在 可 以 说 明 ， 提 升 后 的 简单 贝 叶 斯 分 类 器 在 表达 能 力 上 相当 于 具有 单个 隐 含 层 的 多 层 
感知 器 模型 。 令 w -IL.5 , v? «log A? /loga , WA 




































































HOS SRE = y 2o AVE log f? 
l+a e 1e 7 iino 
即 ， 单 个 分 类 器 的 输出 乘 以 权 值 的 和 应 用 到 一 个 sigmaoid 函数 构成 联合 分 类 器 的 输出 。 









































既然 单个 简单 贝 叶 斯 分 类 器 的 输出 等 价 于 一 个 感知 器 ， 那 么 联合 分 类 器 等 价 于 一 个 具有 单 隐 

含 层 的 感知 器 网 络 。 
对 多 类 分 类 问题 的 提升 贝 叶 斯 方法 如 下 : 

算法 6.2 多 类 分 类 AdaBoost 算法 。 

Input: 




















N 个 训练 实例 : < (Xi, yi >, (Xy Yy) > 


N 个 训练 实例 上 的 分 布 D:w，w 为 训练 实例 的 权 向 量 。 
7 为 训练 重复 的 趟 数 。 


1. Initialize: 


初始 化 训练 实例 的 权 向 量 。w, =1/N i=(1...N) 





N 





lg 


3. for t=1 to T 





























4. A BUB wi EIE HO : X Y 
5. ithe H O WEAR, eO => we wO I(y, + h® (x,)) 
HN (f) _ e? 
7. 计算 下 一 轮 样本 的 权 值 werd — wi? (BOJO ED 
8. EIE w”, ERAMA 1 
9. End for 
10. Output: 
11. h(x) 2 arg max >.__, (log go E RAP y) 
yeY 


159 


ww ai bbt. com [1 HB DL O D D] 

















这 里 


I(9)-1, WRO=T; tiWI(g)-0 





6.4.2 提升 简单 贝 叶 斯 分 类 的 计算 复杂 性 


假设 

















样本 空间 中 个 体 样本 具有 个 属 




















的 一 个 简 


























性 ， 


每 个 属性 有 Y 个 属性 值 。 






























































那么 有 公式 (6.27) 导 出 
单 贝 叶 斯 分 类 器 有 及 二 1 个 参数 ， 这 些 参数 被 累计 学 习 2 及 + 2 次， 在 每 次 学 习 中 ， 
每 个 训练 例子 的 每 个 属性 值 都 会 使 得 精度 得 以 提高 。 
O(nf)， 与 v 无 关 。 这 样 的 时 间 复 杂 度 本 质 上 就 是 最 伯 


EIE, n 个 训练 实例 的 时 间 复 杂 度 就 是 
EE 的 。 提 升 后 的 简单 贝 叶 斯 ， 每 一 赵 的 


时 间 复 杂 度 也 是 O(nf)。 对 了 趋 训 练 ， 其 复杂 度 为 O(Tnf)， 而 了 是 一 常数 ， 所 以 它 的 时 间 复 

































































方法 应 用 到 简单 贝 叶 斯 模型 


杂 度 仍然 为 O(nf ) « 

对 简单 贝 叶 斯 分 类 器 ， 其 主要 计算 是 计数 计算 。 训 练 例子 可 以 从 磁盘 或 磁带 机 中 顺序 地 
进行 处 理 ， 也 可 以 分 批 地 处 理 。 因 此 该 方法 非常 适合 在 大 数据 量 的 知识 发 现 。 数 据 集 可 以 不 
需 全 部 装 入 内 存 ， 仍 旧 可 以 保存 在 磁盘 或 磁带 上 。 然 而 这 种 提 天 
中 存在 如 下 问题 





1. 从 提升 的 思想 来 看 ， 当 训练 集中 存在 噪音 
直 而 放大 ， 这 会 降低 提升 的 性 能 。 当 噪音 很 多 时 ， 这 利 
理论 上 提升 方法 可 以 保证 训练 集 的 差错 率 为 0， 但 当 其 运用 到 简单 贝 叶 


过 权 
2. 虽然 


























不 能 


6.5 由 


果 证 是 这 样 ， 训 练 集 的 差错 始终 存在 。 








叶 斯 网 络 的 建造 














Wr, SEE 





6.5.1 贝 叶 斯 网 络 的 结构 及 建立 方法 


变量 集合 的 联合 概率 分 布 〈 物 到 
利用 贝 叶 斯 定理 揭示 的 学 习 和 统计 
采 据 任务 。 






































"i 





的 或 贝 叶 斯 




















的 方法 会 把 这 些 噪 音 当 作 有 用 的 信息 通 
提升 会 导致 更 糟 的 结果 。 



































斯 模型 时 ， 却 



























































EWT 











关于 








TX 的 联合 概率 分 布 。S 是 一 个 有 向 无 环 图 ，S ! 


表示 变量 
联合 概率 


P 
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组 变量 X— (X, Xo, ... Xn} AY UH 








Hr 





网 络 








简 而 言 之 ， 贝 叶 斯 网 络 是 一 个 带 有 概率 注释 的 有 向 无 环 图 。 这 个 图 模型 能 表示 大 的 




















由 以 下 


量 的 条 件 独立 断言 的 网 络 结构 S; 〈2) 与 每 一 个 变量 相 联系 的 局 部 概率 分 布 集合 














的 )， 可 以 分 析 大 量变 量 之 间 的 相互 关系 ， 
功能 ， 实 现 预测 、 分 类 、 聚 类 、 因 果 分 析 等 数据 











天 部 分 组 成 : (1) — dE X na 











P。 两 者 定义 








对 一 地 对 应 于 站 中 的 变量 。 以 无 





的 节点 








WA PaK S 中 的 五 WISI. SS cse EL. X 的 








分 布 表示 为 : 


(x) =| [pC | pa;) 
i=l 


(6.32) 
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EL P AN (6.31) 式 中 的 局 部 概率 分 布 ， 即 乘积 中 的 项 P Pa) G=1,2, .... n), WZA 
CS, P) 表示 了 联合 概率 分 布 p(X)。 当 仅仅 从 先 验 信息 出 发 建立 贝 叶 斯 网 络 时 ， 该 概率 分 
布 是 贝 叶 斯 的 (主观 的 )。 当 从 数据 出 发 进行 学 习 ， 进 而 建立 贝 叶 斯 网 络 时 ， 该 概率 是 物理 的 
(客观 的 )。 

为 了 建立 贝 叶 斯 网 络 ， 第 一 步 ， 必 须 确定 为 建立 模型 有 关 的 变量 及 其 解释 。 为 此 ， 需 要 : 
(1) 确 定 模 型 的 目标 ， 即 确定 问题 相关 的 解释 ，(2) 确 定 与 问题 有 关 的 许多 可 能 的 观测 值 ， 并 确 
定 其 中 值得 建立 模型 的 子 集 ; (3) 将 这 些 观测 值 组 织 成 互 不 相 容 的 而 且 穷 尽 所 有 状态 的 变量 。 
这 样 做 的 结果 不 是 唯一 的 。 


第 二 步 ， 建 立 一 个 表示 条 件 独立 断言 的 有 向 无 环 图 。 根 据 概率 乘法 公式 有 : 
p (x) Tp | Xi, Xa,..., Xi 1) 
= | x) p(x | x, x2)....pGQo | Xu x3... Xn - 1) (6.33) 
对 于 每 个 变量 钱 ， 如 果 有 某 个 子 集 TIi CX, ... Xia eX, EGG, ... XO ITI BARE 
ALR, BIHE X, A: 
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P(xj|xpx2 .., XeY=p Gi| Ti) Ci21,2,...,n) (6.34 ) 

















WWE (6.33) (6.34) 两 式 可 得 : p GO =[ [p(x| o) . ZERE (nn =, no 对 应 于 父 


i=l 


节点 ( Pa， ,Pa )， 故 又 可 以 写成 : p (x) =| I» pa) 。 于 是 ， 为 了 决定 贝 叶 斯 网 络 的 结 


i=l 
































构 ， 需 要 (1) 将 变量 XX, 2 2X 按 菜 种 次 序 排序 ，〈2) 决定 满足 (6.34) 式 的 变量 集 IIi 








Gi=1,2,...,N) 0 

从 原理 上 说 ， 如 何 从 na 个 变量 中 找 出 适合 条 件 独立 的 顺序 ， 是 一 个 组 合 爆炸 问题 。 因 为 要 
比较 n! 种 变量 顺序 。 不 过 ,通常 可 以 在 现实 问题 中 决定 因果 关系 ,而且 因果 关系 一 般 都 对 应 
于 条 件 独立 的 断言 。 因 此 ， 可 以 从 原因 变量 到 结果 变量 划一 个 带 箭头 的 弧 来 直观 表示 变量 之 
间 的 因果 关系 。 
第 三 步 ， 指 派 局 部 概率 分 布 P (zlPuw)。 在 离散 的 情形 ， 需 要 为 每 一 个 变量 总 的 各 个 父 节 
点 的 状态 指派 一 个 分 布 。 
显然 ， 以 上 各 步 可 能 交叉 进行 ， 而 不 是 简单 的 顺序 进行 可 以 完成 的 。 


6.5.2 学 习 贝 叶 斯 网 络 的 概率 分 布 


现在 考虑 这 样 的 问题 : 给 定 贝 叶 斯 网 络 的 结构 ， 如 何 利用 给 定 样本 数据 去 学 习 网 络 的 概 
率 分 布 ， 即 更 新 网 络 变量 原 有 的 先 验 分 布 。 这 里 使 用 的 是 贝 叶 斯 方法 ， 既 综合 先 验 知识 和 数 
据 去 改进 已 有 知识 的 技术 ， 这 些 技术 可 用 于 数据 采掘 。 假 设 变 量 组 X= Xi, X, …, Xn) 的 物理 
联合 概率 分 布 可 以 编码 在 某 个 网 络 结构 S 中 : 

























































































































































































p (x 9s, S= [][pGslpa. 05 5^ (6.35) 
i=l 
其 中 9; 是 分 布 p(x pa, 9; S 的 参数 向 量 ， 9s 是 参数 组 ( 0 , O2,..., 0,2 的 加 
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量 , 而 S 表示 物理 联合 分 布 可 以 依照 8 被 分 解 的 假设 。 需 要 说 明 的 是 这 个 分 解 是 不 交叉 〈 重 
SO 的 。 例 如 ， 给 定 XX, AXA 于 的 任何 联合 分 布 可 以 被 分 解 成 对 应 于 没有 弧 的 网 络 结构 ， 
也 可 以 被 分 解 成 对 应 于 X, SA RE AMEX CER). Ie, BAA X 的 物理 联 
合 概率 分 布 得 到 一 个 随机 样本 D={X),..., Xat D 的 一 个 元 素 X; 表示 样本 的 一 个 观测 值 ， 称 为 
一 个 案例 。 定 义 一 个 取向 量 值 的 变量 9s 对 应 于 参数 向 量 9s， 并 指派 一 个 先 验 概率 密度 函数 
p © 9s|15S) 表示 对 89; 的 不 确定 性 ， 于 是 贝 叶 斯 网 络 的 学 习 概率 问题 可 以 简单 地 表示 成 : 给 定 
随机 样本 D， 计 算 后 验 分 布 p ( 9 s| D, S). 

下 面 用 无 约束 多 项 分 布 来 讨论 学 习 概率 的 基本 思想 。 假 定 每 个 变量 XeX 是 离散 的 ， 有 


i 个 可 能 的 值 x x7…, x?， 每 个 局 部 分 布 函数 是 一 组 多 项 分 布 的 集合 ， 一 个 分 布 对 应 于 pa; 





























































































































的 一 个 构成 ( 即 一 个 分 量 )。 也 就 是 说 ， 假 定 
p ex pai, 8; S^) = 0 i420 (i=l, Z sees nl 2 ee; qi; k=l, 2; sees ri) (6.36) 
HP pai’, aj... pa 表示 pai Io g= [ [re 9:7 0 LES EG 0 AIA, 
XiePa; 








因为 OoFr1- > Git , 可 以 通过 计算 得 到 。 为 方便 起 见 ， 定 义 参数 向 量 : 
大 =2 


Oy Oi Qjo Ox) 2 2..., 9i) 


jr; 

















给 定 以 上 的 局 部 分 布 函数 后 ， 需 要 有 以 下 两 个 假设 ， 才 可 以 以 封 团 的 形式 计算 后 验 分 布 忆 
C 0s| D, Si 
(1) 在 随机 样本 7 中 没有 缺损 数据 ， 这 时 又 称 7 是 完全 的 ; 











n qi 
(2) 参数 向 量 e; 是 相互 独立 的 ， 即 pcesis- LIT T pl @ul 5). xot om o. 


i=l j=l 


在 以 上 两 个 假设 下 ， 对 于 给 定 的 随机 样本 D， 参 数 仍然 保持 独立 : 


n qi 
pesid S)-LID[ p02 5) (6.37) 


i=l j=l 

















于 是 可 以 相互 独立 地 更 新 每 一 个 参数 向 量 9;， 。 假 设 每 一 个 参数 向 量 9;; 有 先 验 Dirichlet 分 
fii Dir( 8 ij| Oy, Air»... Cy, )， 得 到 后 验 分 布 为 : 
p( 8942 S= Dir( 95] a, * Ny, 0, * NS, o by, tN 


只 中 Vx 是 当 X=x} A Pa; =pa/ 时 D! 的 案例 数 H. 
现在 可 以 求 s 的 可 能 的 构成 的 平均 值 来 得 到 感 兴趣 的 预测 。 例如, 计算 D 中 第 N+1 个 案 

















) (6.38) 


ij2 

































































BipuslDs)- E ([6,) 。 利 用 参数 对 给 定 万 保持 独立 ， 可 以 计算 数学 期 望 


p(@lD,S") i=l 
p(l D, s)=[[ [Ox p( 95D, s)ae-[T[o» p( 94|D, S) di; 
i-l i=l 


n Qi; + Nix 
过 计算 ， 最 后 可 得 : pilD, 5)=] [一 一 一 
i=l C t Ni 











(6.39) 











Ea 
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Ha = > ,ax HN = 0) Nw 。 由 于 无 约束 多 项 分 布 属于 指数 家 族 ， 上 面 的 计算 将 变 
4B e^ P 


KY ABBA X HUT ZR en Y X 的 联合 概率 分 布 ， 所 以 ， 无 论 是 从 先 验 知识 、 数 据 
或 两 者 的 综合 建立 的 贝 叶 斯 网 络 ， 原 则 上 都 可 以 用 它 来 推断 任何 感 兴趣 的 概率 。 不 过 ， 离 散 
变量 的 任意 贝 叶 斯 网 络 的 精确 或 近似 推断 都 是 NP 难题 。 目 前 的 解决 办 法 是 使 用 条 件 独 立 以 简 
化 计算 ， 或 面向 特定 的 推断 要 求 建立 简单 的 网 络 拓扑 ， 或 在 不 牺牲 太 多 精确 性 的 前 提 下 ， 简 
化 网 络 的 结构 等 。 虽 然 如 此 ， 一 般 仍然 需要 可 观 的 计算 时 间 。 对 某 些 问 题 如 简单 贝 叶 斯 分 类 
器 使 用 条 件 独 立 则 有 明显 的 效果 。 

当 样 本 数据 不 完全 时 ， 除 了 少数 特例 外 ， 一 般 要 借助 于 近似 方法 ， 如 Monte-Carlo 方法 ， 
Gaussian 逼近 ， 以 及 EM 期 望 - 极 大 化 ) 算法 求 ML 极 大 似 然 ) W MAP ORAKEI) 等 。 
尽管 有 成 熟 的 算法 ， 其 计算 开销 也 是 比较 大 的 。 


6.5.3. 学 习 贝 叶 斯 网 络 的 网 络 结构 


当 不 能 确定 贝 叶 斯 网 络 的 结构 时 ， 用 贝 叶 斯 方法 从 给 定数 据 学 习 网 络 的 结构 和 概率 分 布 
也 是 可 能 的 。 由 于 数据 挖掘 面 对 的 是 大 量 数 据 ， 一 时 往往 难以 断定 变量 之 间 的 关系 ， 因 此 这 
个 问题 更 具有 现实 意义 。 
首先 假定 表示 变量 集合 X 的 物理 联合 概率 分 布 的 网 络 结构 是 可 以 改进 的 。 按 照 贝 叶 斯 方 
法 ， 定 义 一 个 离散 变量 表示 我 们 对 于 网 络 结构 的 不 确定 性 ， 其 状态 对 应 于 可 能 的 网 络 结构 假 
设 S$， 并 赋予 先 验 概率 分 布 p (5")。 给 定 随机 样本 D. DRA X 的 物理 概率 分 布 。 然 后 计算 
后 验 概率 分 布 P CSD) Mp 0s| D, S), F 09s 是 参数 向 量 ， 并 使 用 这 些 分 布 回 过 头 来 计 
算 感 兴趣 的 期 望 值 。 

p (9s| D, H) 的 计算 方法 与 上 一 节 类 似 。p CSD) 的 计算 至 少 在 原理 上 是 简单 的 。 根 
据 贝 叶 斯 定理 有 : 

p (S'|D) =p (S,D) /p D) 

=p (S) p DIS) /p CD) (6.40) 

其 中 p D) 是 一 个 与 结构 无 关 的 正规 化 常数 ，P DLS 是 边界 似 然 。 于 是 确定 网 络 结构 的 后 
验 分 布 只 需要 为 每 一 个 可 能 的 结构 计算 数据 的 边界 似 然 。 
在 无 约束 多 项 分 布 、 参 数 独立 、 采 用 Dirichlet 先 验 和 数据 完整 的 前 提 下 ， 参 数 向 量 9y 可 
以 独立 地 更 新 。 数 据 的 边界 似 然 正好 等 于 每 一 个 ijj 对 的 边界 似 然 的 乘积 : 



























































































































































































































































































































































































































































































































































p DISH) -JI 2 M a + Nie) (6.41) 
ia ja Tæ +N;) ga Tx) 


该 公式 首次 为 Cooper 和 Herskovits 于 1992 年 给 出 [Cooper 1992]. 

在 一 般 情 况 下 , n 个 变量 的 可 能 的 网 络 结构 数目 大 于 以 n 为 指数 的 函数 。 逐 一 排除 这 些 假 
设 是 很 困难 的 。 可 以 使 用 两 个 方法 来 处 理 这 个 问题 :“ 模 型 选择 ”方法 和 “选择 模型 平均 ” 方 
法 。 前 一 个 方法 是 从 所 有 可 能 的 模型 (结构 假设 ) 中 选择 一 个 “好 的 ”模型 ， 并 把 它 当 作 正 
确 的 模型 。 后 一 个 方法 是 从 所 有 可 能 的 模型 中 选择 合理 数目 的 “好 ”模型 ， 并 认为 这 些 模 型 
代表 了 所 有 情况 。 问 题 是 如 何 决 定 一 个 模型 是 否 “ 好 ”? 如 何 搜 索 好 的 模型 ? 这 些 方 法 应 用 
于 贝 叶 斯 网 络 结构 能 和 否 得 到 准确 的 结果 ?关于 “好 模型 ”已 有 一 些 不 同 的 定义 和 相应 的 计算 
方法 。 后 两 个 问题 要 从 理论 上 回答 是 困难 的 。 然 而 知 干 研究 者 工作 表明 ， 使 用 贪 梦 搜 索 法 选 
择 单个 好 的 假设 通常 会 得 到 准确 的 预测 [Chickering，Heckerman 1996]。 使 用 Monte-Carlo 方 
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法 进行 模型 平均 有 时 也 很 有 效 ， 甚 至 可 以 得 到 更 好 的 预测 。 这 些 结果 多 少 可 以 算是 对 目前 月 





贝 叶 斯 网 络 进行 学 习 的 巨大 兴趣 的 回答 。 








H 


Heckerman F 1995 年 提出 ， 在 参数 独立 、 参 数 模块 性 、 似 然 等 价 、 以 及 机 制 独立 、 部 件 
独立 等 假设 成 立 的 前 担 下 ， 可 以 将 学 习 贝 叶 斯 非 因果 网 络 的 方法 用 于 因果 网 络 的 学 习 。199 
年 又 提出 在 因果 马尔 科 夫 条 件 下 ， 可 以 由 网 络 的 条 件 独 立 和 条 件 相 关 关 系 推 凯 因果 关系 

















[Heckerman 1997]。 这 使 得 在 干涉 扰动 出 现时 可 以 预测 其 影响 。 












































Heckerman 等 使 用 贝 叶 斯 网 络 进行 数据 采掘 和 知识 发 现 。 数 据 来 












































名 高 年 级 学 生 [Sewell 和 Shah 1968]。 每 个 学 生 用 下 列 变量 及 其 相应 的 状态 来 描述 : 

















。 性别 (SEX): 男 、 女 
。 社 会 经 济 状态 (SES): 低 、 中 下 、 中 上 、 高 
“智商 dQ): 低 、 中 下 、 中 上 、 高 

。 家 长 的 鼓励 CPE): 低 、 高 

。 升学 计划 CCP): 是 、 否 















































目标 是 从 数据 中 发 现 影响 高 中 生 上 大 学 意向 的 因素 ， 即 存在 于 这 些 变量 之 间 的 可 能 的 因 
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华盛顿 高 级 中 学 的 10318 





























果 关 系 。 数 据 已 经 整理 成 如 表 6.3 的 充分 统计 。 表 6.3 中 每 个 数据 表示 : 对 于 五 个 变量 取 值 的 



































某 种 组 合 〈 构 成 ) 统计 所 得 到 的 人 数 。 例 如 ， 第 一 个 数据 表示 对 〈SEX= 男 ，SES= 低 ，IQ= 低 ， 

















PE= 低 ，CP= 是 ) 这 种 组 合 统计 得 到 的 人 数 为 4 人。 第 二 个 数据 则 表示 对 〈SEX= 男 ，SES= 低 ， 
IQ= 低 ，PE= 低 ，CP= 和 否 ) 这 种 组 合 统计 得 到 的 人 数 为 349 人 。 其 后 的 数据 依次 表示 轮换 每 个 
































变量 可 能 的 状态 统计 得 到 的 人 数 。 变 量 依照 从 右 到 左 的 顺序 轮换 ， 状 态 则 按照 | 
量 的 状态 的 顺序 轮换 。 如 此 等 等 ， 依 次 类 推 。 表 6.3 中 前 4 行 是 对 男 4 






































对 女生 的 统计 数据 。 
表 6.3 充分 统计 表 (人 ) 
( 男 ) 4 349 13 64 9 207 33 72 12 126 38 54 10 67 49 43 
2 232 27 84 7 201 64 95 12 115 93 92 17 79 119 59 
8 166 47 91 6 120 74 110 17 92 148 100 6 42 198 73 
4 48 39 57 5 47 132 90 9 41 224 65 8 17 414 54 
( 女 5 454 9 44 5 312 14 47 8 216 20 35 13 96 28 24 


ll 285 29 61 19 236 47 88 12 164 62 85 15 113 72 
7 163 36 72 13 193 75 90 12 174 91 100 20 81 142 
6 50 36 58 5 70 110 76 12 48 230 81 13 49 360 











分 析 数 据 时 先 假定 没有 隐藏 变量 。 为 了 生成 网 络 参数 的 先 验 ， 使 

















98 

















j 容 量 为 5 的 等 价 样本 





和 一 个 带 有 一 致 的 p(X| S! ) 的 先 验 网 络 。 除 了 已 排除 的 SEX 和 SES 有 父 节点 、CP 有 子 节点 的 











结构 之 外 ， 假 定 所 有 网 络 结构 都 同等 相似 。 因 为 数据 集 是 完整 的 ， 可 











以 用 (6.40) 和 (6.41) 


式 计 算 网 络 结构 的 后 验 概 率 。 通 过 对 所 有 网 络 结构 的 穷 举 搜索 ， 发 现 的 两 个 最 相似 的 网 络 结 




















构 如 图 6.1。 请 注意 ,最 相似 的 结构 的 后 验 概率 也 是 极端 接近 的 。 如 果 采 纳 因果 马尔 科 夫 假设 ， 





























并 假设 没有 隐藏 变量 ， 则 在 两 个 图 中 的 弧 都 可 以 有 因果 的 解释 。 其 ! 























一 些 结果 ， 例 如 社会 经 


























济 状态 和 智商 对 升学 愿望 的 影响 ， 并 不 使 人 意外 。 男 一 些 结果 更 有 趣 : 从 两 个 图 中 都 可 以 得 
































到 性 别 对 升学 愿望 的 影响 仅仅 通过 父母 的 影响 体现 出 来 。 此 外 ， 两 个 图 的 不 同 仅仅 在 于 PE 和 











IQ 之 间 的 弧 的 方向 。 两 个 不 同 的 因果 关系 似乎 都 有 道理 。 右 边 的 网 络 
斯 方法 于 1993 年 选 出 。 
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曾 由 Spirtes 等 用 非 贝 叶 




















上 面 列 出 各 变 
的 统计 数据 ， 后 4 行 是 


SEX 


TB SE 
< < 


Log p(D| S] )~-45653 Log p(D| S )~-45699 


PC S; |D)~1. 0 pl S? ID)z1. 2x10" 


图 6.1 没有 隐藏 变量 的 后 验 最 可 能 的 网 络 结构 








最 值得 怀疑 的 结果 是 : 社会 经 济 状况 对 智商 有 直接 的 影响 。 为 了 考证 这 个 结果 ， 考 虑 一 
新 的 模型 ， 即 将 图 6.1 中 原来 模型 的 直接 影响 用 一 个 指向 SES 和 IQ 的 隐藏 变量 代替 。 此 外 
还 考虑 这 样 的 模型 ， 隐 藏 变量 指向 SES, IQ 和 PE， 而 且 在 SES—PE 和 PE 一 IQ 两 个 连接 中 分 
别 去 掉 两 个 、 一 个 和 0 个 ， 对 每 个 结构 将 隐藏 变量 的 状态 数 从 2 变 到 6。 
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GQ 
CSEX) 
CPD«——CSES) 
GQ 


Log p(D| S" )~-45629 


图 6.2 ” 带 有 隐藏 变量 的 后 验 最 可 能 的 网 络 结构 
使 用 Laplace itt) Cheeseman-Stutz 变 体 计算 这 些 模型 的 后 验 概率 。 为 了 找 最 大 后 验 构 
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成 9 s， 使 用 EM 算法 ， 并 在 带 有 不 同 的 随机 初始 化 的 8, 的 100 次 运行 中 取 最 大 局 部 极 大 。 这 

















FH 














些 模型 中 带 有 最 高 后 验 概率 的 一 个 如 图 6.2。 这 个 模型 的 可 能 性 比 不 含有 隐藏 变量 的 最 好 模型 
高 2*101 倍 。 另 一 个 最 有 可 能 的 模型 包含 一 个 隐藏 变量 ， 并 有 一 条 从 隐藏 变量 到 PE 的 弧 。 这 
个 模型 的 可 能 性 比 最 好 模型 只 差 5*10” 倍 。 假 定 没 有 忽略 合理 的 模型 ， 那 么 有 强烈 的 证 据 表 
H: 有 一 个 隐藏 变量 在 影响 着 SES (社会 经 济 状态 ) 和 IQ【〔 智 商 )。 分 析 图 6.2 的 概率 可 知 ， 
隐藏 变量 对 应 于 “家 长 的 素质 ” 
使 用 贝 叶 斯 方法 从 先 验 信息 和 样本 信息 学 习 贝 叶 斯 网 络 的 结构 和 概率 分 布 , 进而 建立 贝 叶 
斯 网 络 ， 为 贝 叶 斯 网 络 在 数据 采 据 和 知识 发 现 中 的 应 用 开辟 了 道路 。 与 其 它 用 于 数据 采 据 的 
表示 法 如 规则 库 、 决 策 树 、 人 工 神 经 网 络 相 比 ， 贝 叶 斯 网 络 有 如 下 特点 : 
D 可 以 综合 先 验 信息 和 后 验 信息 ， 既 可 避免 只 使 用 先 验 信息 可 能 带 来 的 主观 偏见 ， 和 忽 
乏 样 本 信息 时 的 大 量 盲目 搜索 与 计算 ， 也 可 避免 只 使 用 后 验 信息 带 来 的 噪音 的 影响 。 只 要 合 
理 地 确定 先 验 ， 就 可 以 进行 有 效 的 学 习 ， 这 在 样本 难得 或 者 代价 高 昂 时 特别 有 用 ; 
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(2) 适 合 处 型 





处 到 





ER; 


(4) 有 成 熟 有 效 的 算法 。 BIME I HT P A ABS TEE IT E N 

















些 限制 后 计算 就 
不 过 ， 贝 叶 








Y 


可 以 简化 。 有 些 问 题 有 近似 解法 。 
斯 网 络 的 计算 量 较 大 ， 在 某 些 其 
低 。 先 验 密度 的 确定 虽然 已 经 有 一 些 方法 ， 但 对 











然 是 一 个 较 困难 








的 问题 ， 





前 提 ， 如 何 判 定 











E 不 完整 数据 集 问 题 ; 
(3) 可 以 发 现 数 据 间 的 天 














而 这 在 样本 鸡 





























这 些 都 是 需要 进 





Ba 


究 的 问题 。 


6.6 贝 叶 斯 潜在 语义 模型 


随 着 互联 网 的 普及 ， 网 上 信息 正在 呈 指 数 级 增长 趋 
世界 中 ， 检 索 到 期 望 的 目标 ， 有效 地 分 析 这 些 





茫 的 数据 ] 




















提供 查询 的 类 
t 信 息 的 良好 组 
如 Yahoo 采 



































> 
挖掘 出 新 颖 的 、 潜 在 有 用 的 模式 ， 
组 织 是 提高 检索 效率 和 检索 精度 的 有 效 途径 ， 如 在 利 
,与 限制 检索 范围 


别 信 A , 
织 结 


ZAfH 


果 关 系 。 后 两 点 在 实际 问题 


;得 时 却 特别 
某 个 实际 问题 是 否 满足 这 些 假设 ， 没 有 现成 的 规则 ， 这 给 实际 应 有 
尽管 如 此 ， 可 以 预见 ， 在 数据 采 
具有 概率 统计 特征 的 数据 采 气 中 ， 贝 叶 斯 网 络 将 成 为 一 个 有 力 的 工具 。 























必然 会 缩 4 














人 工 方式 来 维 





护 网 页 上 
















































































Ve 
Ci 


方法 也 可 以 解决 的 问题 


体 问题 要 合理 确 
































以 


中 经 常 遇 到 ， 而 且 是 用 其 他 模型 难 
P 难题 ， 但 是 很 多 问题 加 上 一 


求解 中 显得 效率 较 























EE 要 。 此 外 ， 贝 叶 


















































HRS 



































定 许 多 变量 的 先 验 概率 仍 
斯 网 络 需要 多 种 假设 为 
Hat oe DRE 
明和 知识 发 现 中 ， 尤 其 在 






























































A, 合理 地 组 织 这 些 信 息 ， 以 便 从 茫 
言 轧 ， 以 便 从 浩如烟海 的 信息 海洋 中 ， 
正在 成 为 网 上 信息 处 理 的 研究 热点 。 网 上 信息 的 分 类 目录 


擎 对 网 页 数据 进行 检索 时 ， 如 
， 从 而 提高 查 准 率 ， 同 时 ， 分 类 可 以 提 
构 ， 便 于 用 户 进行 浏览 和 过 滤 信 息 。 很 多 大 型 网 站 都 采用 这 种 组 织 方式 ， 
的 目录 结构 : Google 网 站 采用 一 定 的 排序 机 制 ， 
最 相关 的 网 页 排 在 前 面 ， 便 于 用 户 浏览 。Deerwester 等 人 利用 线性 代数 的 知识 ， 通 过 


使 与 用 户 
和 矩阵 的 奇 


异 值 分 解 (Singular Value Decomposition SVD) 来 进行 信息 滤波 和 潜在 语义 索引 (Latent Semantic 


Index LSD[ Deerwester 1990]。 它 将 文档 在 癌 
的 潜在 语义 空间 (LSS) ! 
据 的 过 分 稀 玻 现象 。 它 在 语言 建 模 、 视 频 检 索 及 和 蛋白 质数 据 库 等 实际 应 月 
加 的 主要 手段 之 一 。 





聚 类 分 析 是 





MATES 


ELS 
里 个 


























检索 到 的 大 量 网 

















新 的 聚 类 算法 








页 以 一 


Ke 
类 目录 ; 3) 通过 相似 网 页 的 归 # 
算法 ， 另 外 自 组 织 映 射 (SOM) 





的 类 别 
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fe 
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也 正在 不 断 的 下 
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制 与 应 用 
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H 











对 解 空间 的 搜索 
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昂贵 的 ， 而 这 些 
际 应 用 当中 ， 分 
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带 有 











方法 
je 





定 的 盲目 性 ， 
EOL 下 ， 选 择 合适 的 距离 度 
系列 训练 样本 的 分 析 ， 来 预测 未 入 
分 类 ， 如 Naive Bayesian, SVM 等 。 遗憾 的 是 获得 大 量 的 、 
只 有 通过 大 规模 的 训练 集 才 
体系 常常 是 不 一 致 的 ， 为 目录 的 日 常 
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因而 聚 类 
标准 变 得 相当 
1 网 页 的 类 别 归 





等 人 提出 从 带 有 
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问题 处 到 


EARE Z = {21,2,,…24} I 


的 基本 思 


想 是 : 


时 别 标注 和 不 带 有 类 别 标注 


mj 
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它 的 3 


H 
AE 








然而 这 些 聚 类 算法 大 部 分 
的 结果 一 定 程度 
困难 。 而 网 页 分 类 是 一 
m. Hare 


re 
H mr 























HE 

















种 无 监督 学 习 ， 





HEUS CVSMD 中 的 高 维 表示 ， 投 影 到 低 维 
， 这 一 方面 缩小 了 问题 的 规模 ， 另 一 方面 也 从 一 定 程 度 
HH 
E 要 作用 是 : 1) 通过 对 检索 结果 和 


上 避免 了 数 
取得 较 好 的 效果 。 
JRX, K 


给 用 户 ， 使 用 户 能 快速 定位 期 望 的 目标 ， 2) 自动 生成 分 
F 分 析 这 些 网 页 的 共性 。K- 均 值 聚 类 是 比较 典型 的 聚 类 
神经 网 络 聚 类 和 基于 概率 分 布 的 贝 叶 斯 层次 聚 类 (HBC) 等 
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Lak ea SURRMIEs H, Em 





种 监督 学 习 ， 它 通过 


有 很 多 有 效 的 算法 来 实现 网 页 的 





























有 类 别 标注 


获得 较 高 精度 的 分 类 效 
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。 此 外 








的 样本 的 代价 是 相当 
于 在 实 





ZM 




















E 护 带 来 了 一 定 的 困难 














Eo Kamal Nigam 
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的 混合 文档 














样本 含有 的 知识 来 学 习 贝 
I 果 知 道 一 批 网 页 D = {d,,d,,°° 





y 
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d ERT 


通过 引入 贝 叶 斯 潜在 语义 模型 ， 首 先 将 含有 潜在 





类 Web 网 页 ， 它 只 需要 部 分 带 有 
十 斯 分 类 器 [Nigam 1998]. 
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类 别 主题 变量 的 文档 分 配 到 相应 的 类 主题 中 。 接 着 利用 简单 贝 叶 斯 模型 ， 结 合 前 一 阶段 的 知 
识 ， 完 成 对 未 含 类 主题 变量 的 文档 作 标注 。 针 对 这 两 阶段 的 特点 ， 我 们 定义 了 两 种 似 然 函 数 ， 















































并 利用 EM 算法 获得 最 大 似 然 估 计 的 局 部 最 优 解 。 这 种 处 理 方法 一 方面 克服 了 非 监 督学 习 中 



































对 求解 空间 搜索 的 盲目 性 ， 男 一 方面 它 不 需要 对 大 量 训练 样本 的 类 别 标 注 ， 只 需 提供 相应 的 
类 主题 变量 ， 把 网 站 管理 人 员 从 繁琐 的 训练 样本 的 标注 中 解脱 出 来 ， 提 高 了 网 页 分 类 的 自动 











潜在 语义 分 析 ( 
(VSM) 表示 中 的 文 








奇异 值 分 解 (SVD) 


分 解 为 下 面 的 形式 : 



























































性 。 为 了 与 纯粹 的 监督 与 非 监督 学 习 相 区 别 ， 称 这 种 方法 为 半 监 督学 习 算 法 。 


























LSA: Latent Semantic Analysis) 的 基本 观点 是 : 把 高 维 的 向 量 空间 模型 
档 映射 到 低 维 的 潜在 语义 空间 中 。 这 个 映射 是 通过 对 项 /文档 条 阵 N, ,的 











mxn 


























来 实现 的 。 具 体 地 说 ， 对 任意 矩阵 入 ,。， 由 线性 代数 的 知识 可 知 ， 它 可 


N=U> V" (6.42) 


这 里 : UV IEE (UU =VV" =I). > = diag(a,,a,,:::a,,::a,) (a43, a, Ñ 


























N 的 奇异 值 ) 是 对 和 有 
(Wh (6.42): 


























AR. PRET MPT k 个 最 大 的 奇异 值 ， 而 将 剩余 的 值 设 为 零 来 近 











N=UY V =UV =N (6.43) 

















zou m 
于 文档 之 闻 的 相似 性 ， 可 以 通过 NN”x~ NN =U 》 ”UU 来 表示 ， 因 此 文档 在 潜在 














语义 空间 中 的 坐标 可 以 通过 以 来 近似 。 所 以 高 维 空间 中 的 文档 表示 投影 到 低 维 的 潜在 语 









































义 空 间 中 ， 原 来 在 高 维 中 比较 稀 玻 的 向 量 表示 在 潜在 语义 空间 中 变 得 不 再 稀疏 。 这 也 暗 指 ， 




















即使 两 篇 文档 没有 任何 共同 的 项 ， 仍 然 可 能 找到 它们 之 间 比 较 有 意义 的 关联 值 。 


























通过 奇异 值 分 解 ， 将 文档 在 高 维 向 量 空间 模型 中 的 表示 ， 投 影 到 低 维 的 潜在 语义 空间 中 ， 
有 效 地 缩小 了 问题 的 规模 。 潜 在 语义 分 析 在 信息 滤波 、 文 本 索引 、 视 频 检索 等 方面 共有 较为 


成 功 的 应 用 。 然 而 矩阵 的 SVD 分 解 对 数据 的 变化 较为 敏感 ， 同 时 缺乏 先 验 信息 的 植 入 等 而 显 
得 过 分 机 械 ， 从 而 使 它 的 应 用 受到 了 一 定 的 限制 。 





















































经 验 表 明 ， 人 们 对 任何 问题 的 描述 都 是 围绕 某 一 主题 展开 的 。 各 个 主题 之 间 具 有 相对 明 




















显 的 界限 ， 同 时 由 于 偏爱 、 兴 趣 等 的 不 同 ， 对 不 同 的 主题 的 关注 也 存在 着 差别 ， 也 就 是 说 对 
不 同 的 主题 具有 一 定 的 先 验 知识 。 基 于 此 ， 我 们 给 出 文档 产生 的 潜在 贝 叶 斯 语义 模型 : 




















设 文档 集合 为 : 


产生 模型 可 表述 为 : 
































D - fd ,dd 词汇 集 为 : W ={w,,w,,--w,}, 则 文档 de 万 的 





(1) 以 一 定 的 概率 P(d) 选择 文档 4 ; 











(2) 选取 一 个 潜在 的 类 主题  ， 该 类 主题 具有 一 定 的 先 验 知识 p(z | 8) 





3) 类 主题 z 含有 文档 4 的 概率 为 : p(z|d,0) 








(4) 在 类 主题 z 的 条 件 下 ， 产 生词 we WW ， 其 概率 为 : P(w|2,O) 
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经 过 上 述 过 程 获 得 观测 点 对 (q,w) , 潜在 的 类 主题 z 被 忽略 掉 , 产生 下 面 的 联合 概率 模型 : 





p(d,w)= p(d)p(w|d) (6.44) 


p(w|d)- ,p(w|z,0)p(z|d,0) (6.45) 


zeZ 
该 模型 是 建立 在 下 面 的 独立 性 假定 下 的 混合 概率 模型 。 
(1) 每 一 观测 点 对 (q,w) 的 产生 是 相对 独立 的 ， 它 们 通过 潜在 类 主题 相 联 系 ; 






































Q) 词 w 的 产生 独立 于 具体 的 文档 q ， 而 只 依赖 于 潜在 的 类 主题 变量 z 。 
(6.45) 也 表明 ， 在 菜 一 文档 4 中 ， 词 w 的 分 布 是 它 在 潜在 类 主题 下 的 凸 组 合 ， 组 合 权重 
是 该 文档 类 属于 此 主题 的 概率 。 图 6.3 表明 了 该 模型 各 分 量 间 的 关联 。 

















w] 












































图 6.3 贝 叶 斯 潜在 语义 模型 


























利用 贝 叶 斯 公式 ， 并 将 (6.450 RA (6.44) 得 到 : 
p(d,w) = Y p(z|0)p(w|z,O)p(d | z,0) (6.46) 


zeZ 



































与 潜在 语义 分 析 相 比 ， 贝 叶 斯 潜在 语义 模型 具有 较为 稳固 的 统计 学 基础 ， 克 服 了 LSA 中 
的 数据 敏感 性 ， 它 对 潜在 的 类 变量 植 入 先 验 信息 ， 避 免 了 ”SVD 的 机 械 性 。 对 应 于 (6.42) 的 


奇异 值 分 解 : 



































U -(p(di|z))a V-ípOw|z)),. 2, -diag(p(z,) plz1), p) 

因此 Bayes 潜在 语义 模型 与 SVD 在 形式 上 是 统一 的 。 

在 LSA 中 ， 选取 近似 (6.42) 的 标准 是 最 小 二 乘 意义 下 的 损失 最 小 。 而 从 贝 叶 斯 的 观点 ， 

拟 合 模型 (6.46) 有 两 种 标准 : 最 大 后 验 概率 (MAP: Maximum A Posterior) 和 最 大 似 然 估 计 

(ML: Maximize Likelihood). 
最 大 后 验 概 率 估 计 是 在 文档 集 D 和 词汇 集 W 的 情况 下 ， 使 得 潜在 变量 的 后 验 概率 最 大 ， 

Bl : 
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P(Z|D,W) =] |] |] [peld w (6.47) 


zeZ deD weW 

















| 贝 叶 斯 公式 得 : 
P(z)p(w| z)p(d |z) 























p(z|d.w)- (6.48) 
> p(2pQw| z)p(d |z) 
zeZ 
最 大 似 然 估 计 是 最 大 化 下 面 的 表达 式 : 
JI] [pa w” (6.49) 
deD weW 

















XX HO n(d, w) RRI w 在 文档 & 中 出 现 的 次 数 。 在 实际 计算 中 一 般 取 它 的 对 数 形式 , 称 为 对 数 











似 然 。 
> Y n(d.w)log p(d,w) (6.50) 


deD weW 
获得 上 述 两 种 估计 最 大 化 的 一 般 方 法 是 期 望 最 大 化 CEM: Expectation Maximum) 方法 ， 在 6.7 
中 将 进行 详细 讨论 。 
一 般 的 检索 系统 都 是 通过 简单 的 关键 词 匹 配 算法 ， 采 用 一 定 的 排序 机 制 ， 将 检索 到 的 相 
关 网 页 以 一 定 的 方式 提供 给 用 户 。 这 种 处 理 方法 的 缺点 是 忽略 了 特征 间 的 相关 性 ， 如 用 户 查 
询 关 键 词 “ 计 算 机 ”时 ， 传 统 的 关键 词 匹 配 算法 返回 的 将 全 是 含有 “计算 机 ”的 网 页 ， 而 大 
部 分 关于 “电脑 ”的 网 页 将 不 能 检索 到 ， 即 所 谓 的 同义词 与 多 义 词 现象 。 从 语义 角度 上 讲 ， 
同义词 指 的 是 在 不 同 的 场景 下 ， 不 同 的 词 表达 的 意义 相同 ; 多 义 词 指 的 是 同一 个 词 在 不 同 的 
场景 下 表达 的 意义 不 同 。 而 概率 意义 上 的 同义词 与 多 义 词 则 具有 更 为 广泛 的 含义 : 同义词 指 
的 是 在 某 一 主题 下 ， 它 们 的 概率 关联 较为 密切 ;多 义 词 则 指 的 是 同一 个 词 关联 着 不 同 的 类 别 













































































































































































主题 。 贝 叶 斯 概率 语义 模型 有 效 地 解决 了 这 一 问题 。 若 p(w|z) 较 大 ， 我 们 称 词 w 与 z 为 同 





义 词 ; 若 对 词 w 存在 两 个 潜在 类 别 变 量 z,z,，, 使 得 p(w|zi) = p(w|z,) 则 称 该 词 为 多 义 词 。 




















下 面 是 我 们 利用 贝 叶 斯 潜在 语义 模型 ， 对 1199 篇 足球 类 的 文章 , 引入 14 个 潜在 类 别 变量 ， 得 
到 的 部 分 同义词 实验 结果 ( 表 6.3)。 















































































































































































































































表 6.3 基于 贝 叶 斯 潜在 语义 下 的 同义词 表 
泰山 申花 “| 实德 天 津 泰 | 深圳 平 | 全 兴 英格兰 | 意大利 | 世界 杯 
达 安 
泰山 申花 实德 天 津 泰达 | 深圳 平安 | 四 川 英格兰 意大利 世界 杯 
山东 上 海 大 连 实德 | 泰达 深圳 全 兴 英超 意甲 足球 界 
鲁能 泰山 | 彼得 洛 | ENS 金 志 扬 张 军 助攻 英超 联赛 | 尤文 图 斯 | 足球 场 
Tr ER 维 奇 王涛 津 门 违反 AE 英 德 罗纳尔多 | 预选 赛 
舒畅 阵容 王 健 张 效 瑞 违纪 马 明 宇 折 坦 布 | 里 瓦尔 多 | 邀请 赛 
卡 西 阵地 孙 继 海 IKA 刘 建 刘 成 尔 雷 东 多 锦标 赛 
Wa 组 队 IEE AR 张 明 TR 里 奇 水 品 富 劳 尔 亚洲 杯 
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桑 特 拉 奇 | 守门 员 张 凤 李 东 国 | 黎 兵 RSE | 拉齐奥 | 亚 足 联 
拉 尔 门将 卡 纳 瓦 罗 | 欧洲 杯 | 拉 科 和 鲁尼 | 奥林匹克 
卡 伦 欧洲 足 联 | s 国际 足 联 
安德森 
概率 语义 上 的 同义词 与 多 义 词 的 提出 ,不仅 可 以 实现 检索 过 程 中 同一 类 别 之 间 的 联想 转换 
































SS Ui OU dA qu EUH Na Fa HH UE 那 就 是 通过 
淤 在 类 别 变量 的 引入 ， 将 含有 与 潜在 变量 同义词 较 多 的 文章 聚 为 一 类 。 下 面 将 详细 讨论 这 种 
算法 的 实现 。 
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半 监 督 文本 挖掘 算法 


6.7.1 网 页 聚 类 



































目前 已 经 有 很 多 算法 来 实现 文本 分 类 , 获得 了 较 高 的 精度 Precision) 和 召回 率 (Recall). 
然而 获得 分 类 中 带 有 标注 的 训练 样本 的 代价 是 相当 昂贵 的 ， 因 而 Nigam 等 人 提出 从 带 有 和 不 
带 有 类 别 标注 的 混合 文档 中 学 习 分 类 web 网 页 ， 并 获得 了 很 好 的 精度 ， 但 它 仍 然 需 要 一 定量 
的 标注 样本 [Nigam 98]。 网 页 聚 类 通过 一 定 的 相似 性 度量 ， 将 相关 网 页 归并 到 一 类 , 它 也 能 达 
到 缩小 搜索 空间 的 目的 ， 然 而 传统 的 聚 类 方法 ， 在 处 理 高 维和 海量 数据 时 ， 它 的 效率 和 精确 
度 却 大 打折 扣 。 这 一 方面 由 于 非 监 督学 习 对 解 空间 的 搜索 本 身 具 有 一 定 的 盲目 性 ， 另 一 方面 ， 
在 高 维 的 情况 下 ， 很 难 找到 比较 适宜 的 相似 性 度量 标准 ， 例 如 ， 欧 式 距离 度量 在 维 数 较 高 时 ， 
变 得 不 再 适用 。 基 于 上 面 的 监督 学 习 与 非 监督 学 习 的 特性 ， 我 们 提出 了 一 种 半 监 督学 习 算 法 。 
在 贝 叶 斯 潜在 语义 模型 的 框架 下 ， 由 用 户 提 供 一 定数 量 的 潜在 类 别 变 量 ， 而 不 需要 任何 带 有 
类 别 标注 的 样本 ， 将 一 组 文档 集 划 分 到 不 同 的 类 别 中 。 

它 的 一 般 模 型 可 以 描述 为 : GARS D-id,.d,--d,) MUM WILK 



























































































































































































































































































































































si 


W -iw,w,,-w,bpo — A A 5G US$ fe i 0—10,0,,.-0,) 的 潜在 类 别 变 








Z-iz.z,-z)p RHED ERIT XI Dj e(L...k)). E: 


Up, =D, D,ND,=¢ G4 j) 


j=l 











首先 我 们 将 D 划分 为 两 个 集合 : D = Dj, J Du ， 满 足 : 








D, - (d |3j,z, €d, j ell...k]}, Dy - (d|Vj.z, ¢ 4d,j ell...k]) 





我 们 的 算法 对 文档 的 类 别 标注 分 两 个 阶段 实现 : 
第 一 阶段 ， 对 D; 中 的 元 素 ， 我 们 利用 贝 叶 斯 潜在 语义 模型 ， 在 基于 EM 参数 估计 的 基础 
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上 ， 用 潜在 类 别 变量 来 标注 文档 。 即 : 
l(d) =z, =max{p(d | z,)} (6.51) 





























第 二 阶段 ， 对 Dy 中 的 元 素 ， 根 据 对 忆 , 中 的 元 素 的 类 别 标注 ， 利 用 Naive Bayes 分 类 模 




















型 ， 经 过 EM 算法 ， 来 实现 类 别 标注 。 





6.7.2 对 含有 潜在 类 别 主 题词 的 文档 的 类 别 标注 


蛙 想 的 情况 下 ， 任 何 文档 都 不 含有 两 个 以 上 的 潜在 类 别 主题 词 ， 此 时 只 需 将 该 文档 标 以 
潜在 的 类 别 。 然 而 在 实际 应 用 中 ， 这 种 理想 的 情况 很 难 达到 ， 一 方面 由 于 很 难 选择 这 样 的 潜 
在 类 别 主题 词 ， 另 一 方面 ， 这 种 要 求 也 是 不 太 现实 的 ， 因 为 两 个 不 同 的 类 别 很 可 能 含有 多 个 
潜在 的 类 别 主题 词 。 如 在 “经 济 ” 类 的 文档 中 ,很 可 能 含有 像 “ 政 治 ”“ 文 化 ”等 词 。 我 们 
的 处 理 方法 是 把 它 分 到 与 潜在 的 类 别 主题 词语 义 最 为 密切 的 类 别 中 。 在 我 们 选择 的 似 然 标准 
下 ， 通 过 一 定 次 数 的 EM 和 迭代， 最 后 通过 式 (6.51) 来 决定 文档 的 类 别 。 
EM 算法 是 稀疏 数据 参数 估计 的 主要 方法 之 一 。 它 交 蔡 地 执行 卫 步 和 M 步 , 以 达到 使 似 然 
函数 值 增 加 的 目的 。 它 的 一 般 过 程 可 描述 为 : 

(1) 卫 步 ， 基 于 当前 的 参数 估计 ， 计 算 它 的 期 望 值 ; 

Q) M}, IEF E 步 参数 的 期 望 值 ， 最 大 化 当前 的 参数 估计 ; 

(3) 对 修正 后 的 参数 估计 ， 计 算 似 然 函 数值 ， 若 似 然 函数 值 达到 事前 制定 的 阔 值 或 者 指定 

的 迭代 次 数 ， 则 停止 ， 否 则 转 (1 )。 

在 我 们 的 算法 中 ， 采 用 下 面 两 步 来 实现 迭代 。 

(1) 在 EE 步 ， 通 过 下 面 的 贝 叶 斯 公式 来 获得 期 望 值 。 

Pas p(p(d|zpiwlz): 
2 PZ pa z)pQw|z) 


从 概率 语义 上 讲 ， 它 是 用 潜在 类 别 变 量 z 来 解释 词 w 在 文档 4 中 出 现 的 概率 度量 。 
(2) 在 M 步 中 ， 利 用 上 一 步 的 期 望 值 ， 来 重新 估计 参数 的 分 布 密度 。 


> (dw) plz |d,w) 













































































































































































































































































(6.52) 













































































p(w|z)- CROCS (6.53a) 
E > n(d,w)p(z |d,w) 
p(d |z)= a (6.53b) 
F ,"(d.w)p(z | d,w) 
p(z)- 之 (6.53c) 





2 nd,w) 

相对 于 潜在 语义 分 析 中 的 SVD 分 解 , EM 算法 具有 线性 的 收敛 速度 , 并 且 简 单 , 容易 实现 ， 
可 以 使 似 然 函数 达到 局 部 最 优 。 图 6.4 是 我 们 在 实验 过 程 中 得 到 的 EM 迭代 次 数 与 似 然 函 数 的 
值 的 关系 。 
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图 6.4 最 大 似 然 估 计 值 与 EM 迭代 次 数 的 关系 

















6.7.3 基于 简单 贝 叶 斯 模型 学 习 标注 和 未 标注 样本 














传统 的 分 类 方法 都 是 通过 一 定 的 学 习 机 制 ， 对 带 有 类 别 标签 的 训练 样本 学 习 的 基础 上 , 来 
决定 未 知 样本 的 类 别 标签 。 然 而 获得 大 量 的 带 有 类 别 标注 的 训练 样本 是 相当 繁琐 的 任务 。 
Kamal Nigam 等 人 研究 表明 , 未 剖 类 别 标注 的 文档 仍然 含有 学 习 分 类 模型 的 大 量 信息 。 基 于 此 ， 
我 们 利用 简单 贝 叶 斯 (Naive Bayesian) 模型 作为 分 类 器 ， 把 未 带 标签 的 训练 样本 作为 一 种 特 
殊 的 缺 值 状态 ， 通 过 一 定 的 EM 从 代 算法 来 估计 这 种 缺 值 。 

在 这 里 ， 我 们 首先 给 出 Naive Bayes 学 习 文 本 分 类 的 一 般 原 理 : 已 知 训 练 文档 集 


































































































D = {d,,d,,---d,} 和 它 的 词汇 集 刺 = (wy w, Wy} 。 每 一 训练 样本 是 一 m+1 维 向 量 : 











d, =< W, ww, c; >» He, e C= {c,c,，,…Ci} 是 类 别 变量 ,分 类 的 任务 就 是 对 未 知 类 





别 的 样本 4 =< w, w, Wp > ， 来 预测 它 的 类 别 : 








c= max {p(c; qd,0)} OXE 0 是 模型 的 参数 ) 
jell... 


























为 计算 上 式 ， 将 其 展开 得 到 : 








la| 


pld |c,,0)= p(d D] [pw 10,6: w,.q < K) (6.54) 


k=1 


Naive Bayes 模型 在 计算 (6.54) 时 ， 引 入 了 下 面 一 些 独立 性 假设 : 





























(1) 文档 的 词 的 产生 独立 于 它 的 内 容 ， 即 词 在 文档 中 出 现 的 位 置 无 先后 关系 。 





























(2) 文档 中 各 个 词 相 对 于 类 别 属性 是 相对 独立 的 。 





在 上 面 的 独立 性 假定 下 ， 结 合 贝 叶 斯 公式 〈6.54) 可 记 为 : 
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Pc; | 9) p(d |c,,0) 
p(d|@) 





lal 
pldlc,,0)= p( d D | pw, 4c,;0;)= 


m (6.55) 
plc, |o) [ pow, 1e;:0) 


SY ple IATL” pos, 16:0) 


学 习 的 任务 变 为 从 数据 中 ， 利 用 一 定 的 先 验 信息 来 学 习 模型 的 参数 。 在 这 里 我 们 选用 多 项 
分 布 模型 和 Dirichlet RIER. 


Y Hed) =e) 
| DJ 

a, +9 n(d, w,M(c(d;) » e;) 
ot+ DY DY n(d, w,)(c(d,) =¢;) 
这 里 ; ay = Y a, 为 模型 的 超 参数 。 函数 c(.) 是 类 别 标注 函数 ，7(a = D) 为 示 性 函数 (车 


















































0, = p(c,|@)= (6.56a) 





Oo = POW, |c);0)= (6.56b) 


























a=b, WI(a=b)=1, BWI (a=b)=0). 


尽管 简单 贝 叶 斯 对 模型 的 适用 条 件 作 了 较为 苛刻 的 限制 , 然而 大 量 实验 表明 ， 即 使 在 违背 
这 些 独立 性 假定 的 条 件 下 ， 它 仍 能 表现 出 相当 的 健壮 性 ， 它 已 经 成 为 文本 分 类 中 广 为 使 用 的 
一 种 方法 。 

下 面 我 们 将 通过 引入 一 种 最 大 化 后 验 概率 (MAP) 似 然 标准 ， 结 合 未 标注 样本 的 知识 为 这 
些 未 标注 的 样本 贴标签 。 


考虑 所 有 的 样本 集 D = D, Y D, . RP D, 中 的 元 素 在 第 一 阶段 已 被 贴 上 标签 ,假设 DD 中 
各 样本 的 产生 是 相互 独立 的 ,那么 下 面 的 式 子 成 立 : 











































































































[CI 
p(D16)- [> pre | pd, 100 [ [pc(4)10)p(d,|c(d,:0) 6.57 
d;eDy j=l d;eD; 
在 上 面 的 式 子 中 , 将 未 标注 的 文档 看 作 是 混合 模型 。 我 们 的 学 习 任 务 仍 然 是 通过 样本 集 D 
来 获得 模型 参数 9 的 最 大 估计 。 利 用 贝 叶 斯 定理 ; 
p(0)pCD |0) 
P(D) 



































p(0|D)- (6.58) 


EMMA IP. p(0) All p(D) 是 常量 。 对 (6.58) 取 对 数 得 ; 





Im 








1(8 | D) = log p(@| D) = Lim ^ E > log pce, | )p(d; | c,;0) 
deDy (6.59) 
+ Š log p(c(d;) | 0) p(d; | c(d;);0) 


d;eD, 
为 估计 未 标注 样本 的 标签 ， 借 用 潜在 语义 分 析 中 的 潜在 变量 ,我们 在 这 里 引入 个 潜在 变 
量 Z = {21,2，…24}, 每 个 潜在 变量 是 n 维 向 量 Z; =< Z4,25,...z, 2 » 并且: 如 果 c(q;)= c; 
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那么 z =1, bz, 0. PALA (6.59) 可 以 统一 表示 成 下 面 的 形式 : 


ic 
(| D) =log 2D + > Yz, log plc, |0)p(d, |e,:0,) (6.60) 
pD) Az 




















FE (6.59) 中 ， 对 已 标 注 的 样本 3; 是 已 知 的 ， 学 习 的 任务 是 最 大 化 模型 的 参数 和 对 未 知 的 


z 的 估计 。 














在 这 里 , 我 们 仍然 用 EM 算法 来 学 习 未 标注 样本 的 知识 。 但 它 的 过 程 与 前 一 阶段 有 所 不 同 。 
在 E 步 的 第 次 迭代 中 ， 基 于 当前 的 参数 估计 ， 利 用 简单 贝 叶 斯 分 类 器 来 计算 未 标注 样本 的 
类 别 。 对 Vd € D, 






































P(c， 199 Lp, |c,;0^) 

ji kA T" "E 
24405 K YII po, lese") 
取 获 得 最 大 后 验 概率 的 类 别 c, 作为 该 文档 的 期 望 类 别 标注 。 即 





p(d|c,,0°) = e[L...K] 








241. za -0(jzi) 














在 M 步 ， 基 于 前 一 步 获得 的 期 望 值 ， 最 大 化 当前 的 参数 估计 : 


|D] 
Das Z ji 


B. piger (6.61a) 

















|D] 
aj + Dae n(d;, W, )Z 4 
m NODI 
yt Dy s Ww); 


4) 实 验 设计 与 结果 分 析 

我 们 的 实验 数据 是 用 搜索 引擎 Spider 从 http://www.fm365.com 搜集 的 关于 体育 方面 的 网 
页 ， 在 每 一 类 别 中 都 包括 了 含有 类 别 词 的 网 页 和 不 含有 类 别 词 的 网 页 。 它 们 的 类 别 和 分 布 见 
X 6.4: 


M zd pw, | c;;0) = 





(6.61b) 















































表 6.4 选择 的 训练 文档 及 其 分 布 














足球 篮球 排球 | 乒乓 球 | 网 球 棋牌 





含有 主 
题词 
不 含有 


主题 词 








40 60 48 30 57 80 





80 40 29 11 6 4 












































上 述 共有 485 篇 网 页 ， 经 过 切 词 处 理 后 ， 去 掉 一 定 的 停 用 词 后 ， 共 计 有 2719 个 词 ， 经 过 
半 监 督学 习 算法 处 理 后 ， 得 到 表 6.5 的 结果 : 
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表 6.5 半 监 督 文本 挖掘 的 结果 






































xe Vm 结果 评价 
足球 | 篮球 | 排球 | 乒乓 球 | 网球 | HUS 一 一 一 
精度 | bx 
足球 (120) 112 5 0 1 2 2 0.96552 0.93333 
篮球 (100) 1 98 0 1 0 0 0.93333 0.98000 
排球 (77) 1 2 74 0 0 0 0.97368 0.96103 

乒乓 球 
0 0 0 40 1 0 0.83333 0.97561 

(41) 

网 球 (63) 0 0 1 4 58 0 0.93548 0.92063 
棋牌 (84) 4 0 1 2 1 76 0.97436 0.90476 






































在 足球 类 的 120 篇 文档 中 ,分 到 篮球 、 排 球 、 乒 乓 球 、 网 球 及 棋牌 类 的 文档 个 数 分 别 为 5、 
0、1、2、2。 其 中 分 到 篮球 类 的 文档 数 较 多 ， 通 过 进一步 的 研究 我 们 发 现 ， 这 些 文档 中 含有 
的 词 与 禾 球 类 中 含有 的 词 中 同义词 较 多 所 致 。 我 们 使 用 同样 的 数据 ， 利 用 Naive Bayes 分 类 ， 
得 到 类 似 的 结果 。 

另外 ， 选 取 足 球 类 的 文档 1000 篇 ， 经 过 初步 的 预 处 理 后 得 到 876 个 词 。 图 6.5 是 选取 不 
同 的 潜在 类 别 变量 分 到 各 类 中 的 文档 个 数 对 比 。 
第 一 次 选择 14 个 潜在 变量 ， 第 二 次 选择 7 个 潜在 变量 ， 两 次 的 差别 是 在 第 一 次 选择 中 ， 
! A" 的 各 个 俱乐部 在 第 二 次 中 用 “ 甲 A” 来 替代 。 从 图 中 可 以 看 出 ， 第 一 次 选择 各 个 类 别 
分 到 的 文档 数 基本 相同 ， 而 在 第 二 次 选择 中 ， 分 到 “ 甲 A” 中 的 文档 数 近似 为 各 “俱乐部 ”中 
的 文档 数 之 和 ， 分 到 其 余 类 别 中 的 文档 数 基本 不 变 。 这 个 结果 与 我 们 的 抽样 基本 是 吻合 的 ， 
同时 也 说 明 ， 潜 在 类 别 变量 的 概括 能 力 具 有 一 定 的 层次 性 。 
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图 6.5 各 类 中 的 文档 个 数 对 比 











网 上 信息 的 分 类 目录 组 织 是 提高 检索 效率 和 检索 精度 的 有 效 途 径 。 它 通过 学 习 大 量 的 带 
有 类 别 标注 的 训练 样本 ， 来 预测 网 页 的 类 别 ， 然 而 人 工 标注 这 些 训练 样本 是 相当 繁琐 的 。 网 
页 聚 类 通过 一 定 的 相似 性 度量 ， 将 相关 网 页 归并 到 一 类 , 它 也 能 达到 缩小 搜索 空间 的 目的 ， 然 
而 传统 的 聚 类 方法 ， 对 解 空 间 的 搜索 带 有 盲目 性 和 缺乏 语义 特性 ， 因 而 它 的 效率 和 精确 度 大 
打折 扣 。 我 们 提出 的 半 监 督学 习 算 法 , 在 贝 叶 斯 潜在 语义 模型 的 框架 下 ， 由 用 户 提 供 一 定数 量 
的 潜在 类 别 变 量 ， 而 不 需要 任何 带 有 类 别 标注 的 样本 ， 将 一 组 文档 集 划 分 到 不 同 的 类 别 中 。 
它 分 为 两 个 阶段 : 第 一 阶段 ， 利 用 贝 叶 斯 潜在 语义 分 析 来 标注 含有 潜在 类 别 变量 的 文档 的 类 
别 ， 第 二 阶段 则 通过 简单 贝 叶 斯 模型 ， 结 合 未 标注 文档 的 知识 ， 对 这 些 文档 贴标签 。 实 验 结 
果 也 表明 ， 该 算法 具有 较 高 的 精度 与 召回 率 。 我 们 将 进一步 研究 潜在 类 别 变 量 的 选择 对 结果 
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的 影响 ， 以 及 在 贝 叶 斯 潜在 语义 分 析 框 架 下 如 何 实现 词 的 聚 类 等 问题 。 


习 题 








分 别 解释 条 件 概率 、 先 验 概率 和 后 验 概率 。 

描述 全 概率 下 的 贝 叶 斯 公式 ， 并 详细 说 明 贝 叶 斯 公式 的 重要 意义 。 
描述 儿 种 常用 的 先 验 分 布 选取 方法 。 
简单 贝 叶 斯 分 类 中 人 简单 的 含义 是 什么 ， 简 述 改 进 分 类 方法 的 主要 思想 。 
叙述 贝 叶 斯 网 络 的 结构 和 建立 方法 ， 试 举例 描述 贝 叶 斯 网 络 的 使 用 。 
何谓 半 监 督 文本 挖掘 ， 描 述 贝 叶 斯 模型 在 网 页 聚 类 中 的 应 用 。 
近年 来 随 着 Internet 技术 的 发 展 ， 贝 叶 斯 规则 被 广泛 应 用 ， 试 举 两 个 具体 的 贝 叶 斯 规则 应 
j 实 例 ， 并 加 以 解释 。 
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SEE HAFA 


7.1 HE 述 


























归纳 学 习 是 符号 学 习 中 研究 得 最 为 广泛 的 一 种 方法 。 给 定 关 于 某 个 概念 的 一 系列 已 知 的 
正 例 和 反例 ， 其 任务 是 从 中 归纳 出 一 个 一 般 的 概念 描述 。 归 纳 学 习 能 够 获得 新 的 概念 ， 创 立 
新 的 规则 ， 发 现 新 的 理论 。 它 的 一 般 的 操作 是 泛 化 (generalization) 和 特 化 
(specialization) 。 泛 化 用 来 扩展 一 假设 的 语义 信息 ， 以 使 其 能 够 包含 更 多 的 正 例 ， 应 用 于 
更 多 的 情况 。 特 化 是 泛 化 的 相反 的 操作 ， 用 于 限制 概念 描述 的 应 用 范围 。 

用 程序 语言 描述 定义 上 述 内 容 的 过 程 就 是 归纳 学 习 程 序 , 用 于 书写 归纳 程序 的 语言 称 为 
归纳 程序 设计 语言 ， 能 执行 归纳 程序 , 完成 特定 归纳 学 习 任 务 的 系统 叫做 归纳 学 习 系 统 。 归 纳 
学 习 系 统 可 独立 , 也 可 能 入 另 一 较 大 的 知识 处 理 系统 。 一 般 归 纳 程序 的 输入 是 科学 实验 中 个 别 
观察 对 象 (过程) 的 描述 ， 输 出 是 一 类 对 象 的 总 体 特征 描述 或 几 类 对 象 的 分 类 判别 描述 。 

与 演绎 相对 照 ， 归 纳 的 开始 前 提 是 有 具体 事实 而 不 是 一 般 公理 , 推理 目标 是 形式 化 解释 事 
实 的 似 然 一 般 断 言 和 预见 新 事实 。 归 纳 推理 企图 从 给 定 现 象 或 它 的 一 部 分 的 具体 观察 推导 出 
一 个 完整 的 、 正 确 的 描述 。 归 纳 的 两 个 方面 一 一 似 然 假设 的 产生 和 它 的 有 效 性 ( 真 值 状态 的 建 
Xr), 只 有 前 者 对 归纳 学 习 研 究 具 备 基 本 意义 ， 而 假设 有 效 性 的 问题 是 次 要 的 ， 因 为 假定 所 产 
生 的 假设 由 人 类 专家 判断 ， 由 已 知 的 演绎 推理 和 数理 统计 的 方法 测试 。 
归纳 学 习 可 以 分 为 实例 学 习 、 观 察 与 发 现 学 习 。 实 例 学 习 ， 又 叫 概念 获取 ， 它 的 任务 是 
确定 概念 的 一 般 描 述 ， 这 个 描述 应 能 解释 所 有 给 定 的 正 例 并 排除 所 有 给 定 的 反例 。 这 些 正 反 
例 由 信息 源 提供 。 信 息 源 的 来 源 非常 广泛 ， 可 以 是 自然 现象 ， 也 可 以 是 实验 结果 。 实 例 学 习 
是 根据 教师 给 以 分 类 的 正 反 例 进行 学 习 ， 因 此 是 有 教师 学 习 。 

观察 与 发 现 学习 又 称 描述 的 泛 化 。 这 类 学 习 没有 教师 的 帮助 ， 它 要 产生 解释 所 有 或 大 多 
数 观察 的 规律 和 规则 。 这 类 学 习 包 括 概念 聚 类 、 构 造 分 类 、 发 现 定 理 、 形 成 理论 等 。 观 察 与 
发 现 学 习 是 由 未 经 分 类 的 观察 学 习 ， 或 由 系统 自身 的 功能 去 发 现 ， 因 此 是 无 教师 学 习 。 
因为 归纳 推理 是 从 有 限 的 、 不 完全 的 知识 状态 推出 完全 的 知识 状态 , 故 归 纳 推理 本 身 就 是 
一 种 非 单调 推理 。 但 归纳 推理 本 身 又 无 法 验证 新 知识 正确 与 否 ， 而 非 单调 逻辑 则 为 我 们 处 理 
非 单调 归纳 知识 提供 理论 基础 。 

归纳 原理 的 基本 思想 是 在 大 量 观 察 的 基础 上 通过 假设 形成 一 个 科学 理论 。 所 有 观察 都 是 
单 称 命题 , 而 一 个 理论 往往 是 领域 内 的 全 称 命题 , 从 单 称 命题 过 渡 到 全 称 命题 从 逻辑 上 来 说 没 
有 必然 的 药 涵 关系 , 对 于 不 能 观察 的 事实 往往 默认 它们 成 立 。 我 们 把 归纳 推理 得 到 的 归纳 断言 
作为 知识 库 中 的 知识 使 用 , 而 且 做 为 默认 知识 使 用 ， 当 出 现 与 之 矛盾 的 新 命题 时 ， 可 以 推翻 
原 有 的 由 归纳 推理 得 出 的 默认 知识 ， 以 保持 系统 知识 的 一 致 性 。 

单个 概念 的 归纳 学 习 的 一 个 通用 定义 是 : 

(1) 给 定 由 全 体 实例 组 成 的 一 个 实例 空间 ， 每 个 实例 具有 某 些 属性 。 

(2) 给 定 一 个 描述 语言 ， 该 语言 的 描述 能 力 包 括 描述 每 一 个 实例 (通过 描述 改 实例 的 属性 
来 实现 ) 及 描述 某 些 实例 集 ， 称 为 概念 。 

(3) 每 次 学 习 时 ， 由 实例 空间 抽出 某 些 实例 ， 称 这 些 实例 构成 的 集合 为 正 例 集 。 再 由 实例 
空间 抽出 另外 一 些 实 例 ， 称 这 些 实例 为 反例 集 。 

(4) 如 果 能 够 在 有 限 步 内 找到 一 个 概念 A， 它 完全 包含 正 例 集 ， 并 且 与 反例 集 的 交集 为 空 ， 
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则 A 就 是 所 要 学 习 的 单个 概念 ， 学 习 成 功 ， 否 则 ， 学 习 失 败 。 

(5) 如 果 存 在 一 个 确定 的 算法 ， 使 得 对 于 任意 给 定 的 正 例 集 和 反例 集 ， 学 习 都 是 成 功 的 ， 
则 称 该 实例 空间 在 该 语言 表示 下 是 可 学 习 的 。 

归纳 学 习 中 具有 代表 性 的 学 习 方法 有 变型 空间 、AQ11 算法 、 决 策 树 方法 等 , 本 章 将 分 别 进 
行 讨论 。 






















































































7.2 ”归纳 学 习 的 逻辑 基础 


7.2.1 归纳 学 习 的 一 般 模式 


为 了 较 具 体 地 刻画 概念 的 归纳 学 习 ， 这 里 给 出 归纳 学 习 的 一 般 模 式 。 

给 定 : 

O 观察 语句 集 (事实 ) Fe 这 是 有 关 某 类 对 象 中 个 别 具 体 对 象 的 知识 或 某 一 对 象 的 部 分 特 
FE 的 知识 。 

D 假定 的 初始 归纳 断言 (可 空 ) : 是 关于 目标 的 泛 化 项 或 泛 化 描述 。 

O 背景 知识 : 背景 知识 定义 了 在 观察 语句 和 所 产生 的 候选 归纳 断言 上 的 假定 和 限制 ， 以 
及 任何 有 关 问 题 领域 知识 。 有 关 问 题 领域 知识 包括 特 化 所 找 归纳 断言 的 期 望 性 质 的 择优 标准 。 

寻找 : 

归纳 断言 H (假设 )，H 重 言 或 弱 缠 涵 观 察 语句 并 满足 背景 知识 。 
假设 HK ELSE E, 是 指 Fià 7 的 逻辑 推理 ， 即 8 二 成 立 。 也 就 是 若 表 达 式 H 志 了 
在 所 有 解释 下 均 为 真 ， 可 表示 为 : 
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Hb F HAG F 





或 FkH . 归结 或 泛 化 为 8 


KE, M 推导 出 的 过 程 是 保 真 过 程 ， 因 为 根据 上 述 模式 Hm FAR, WRH HN 
H, PHAR. RZ, MFX PES IK 8 的 过 程 是 保 假 过 程 ， 即 如 果 有 事实 PA, WU 
一 定 为 假 。 

所 谓 HIAR A AEK 不 是 8 确定 的 结论 ， 而 是 8 合理 的 或 部 分 的 结论 。 有 了 弱 剖 
涵 概 念 ， 这 个 模式 就 可 以 有 只 需 解 释 所 有 事实 中 的 某 些 事实 的 可 能 的 和 部 分 的 假设 。 不 过 我 
们 仍然 集中 注意 在 永 真 草 涵 事 实 的 假设 上 。 

对 于 任意 给 定 的 事实 集 ， 可 能 产生 无 数 个 草 涵 这 些 事实 的 假设 ， 这 时 就 需要 背景 知识 3 
提供 限制 条 件 和 优先 原则 ， 以 便 将 假设 从 无 穷 个 减少 到 一 个 假设 或 者 儿 个 最 优 的 假设 。 

为 了 将 概念 归纳 学 习 的 逻辑 基础 形式 化 ， 表 7. 1 给 出 了 基本 符号 ， 并 附 上 简单 的 解释 。 

表 7.1 给 出 了 基本 符号 表 




































































































































































符 号 意 义 
~ AF 
A BA ZHR) 
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V priu GE SD 



































2 蕴涵 

e 逻辑 等 价 

一 项 重 写 

e Hn 

F 事实 集 

H 假设 

P 特 化 

K 泛 化 

E 重新 形式 化 

dv 存在 量词 约束 变 项 v; 
Aly; 数值 存在 量词 约束 变 项 v; 
Yvi 全 称 量词 约束 变 项 Vi 

D; 概念 HS 

K; 判断 一 个 概念 的 名 字 的 谓词 
:> 将 概念 描述 与 概念 名 连接 的 蕴涵 
e; 一 个 事件 (对 一 种 情况 的 描述 ) 
E; 仅 对 概念 k SE gE 1 te] 
X 属性 

LEF 评价 函数 
DOM (A 描述 符 P 的 定义 域 


7.2.2 概念 获取 的 条 件 


概念 获取 的 一 类 特殊 情况 ， 它 的 观察 语句 集 $F$ 是 一 个 列 涵 的 集合 ， 其 形式 如 下 : 


F: {ex ::> Kh 7E 7 (7.1) 

















HP, ea AVERT) 是 概念 E k ATR SHR. MRNA A, TE KAY Pb 
Fo en ::> Ki WERNE “NAP AHIR ex 的 事件 均 可 被 断言 为 概念 A 的 例子 ”。 学 习 程序 要 
寻求 的 归纳 断言 可 以 用 概念 识别 规则 集 来 刻画 ， 形 式 如 下 : 
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H: {D ::> Ki} ic I (7.2) 








其 中 LEMS ACW, MRAR DERRE, AETR GU Bb A 7 
Te 















































用 ERAN MS 下 中 所 有 训练 事件 的 描述 (ze 7), WAERTE, BAA H 上 


Fo BE 成 为 概念 KON. HX. 1) 和 式 (6. 2) 分 别 代替 这 里 的 和 及 则 下 述 条 件 必 
须 成 立 : 


















































Viel (ED) (7. 3) 
即 所 有 A UAE DAE Do 如 果 约 定 每 一 训练 事件 只 能 属于 一 个 概念 ， 则 下 面条 件 也 
成 立 : 


















































Vie eed Se) ux eG (7. 4) 

其 含意 是 任何 一 个 概念 厂 C E D UNAS Di. 
表达 式 条 件 (6. 3) 称 为 完整 性 条 件 ， 条 件 (6. AT) 称 为 一 致 性 条 件 。 作 为 概念 识别 规则 接受 
的 归纳 断言 一 定 要 满足 这 两 个 条 件 ， 从 而 保证 D; 的 完整 性 和 一 臻 性。 完整 性 和 一 致 性 条 件 为 
实例 学 习 概 念 的 算法 提供 了 逻辑 基础 。 

一 类 物体 的 特征 描述 是 一 个 满足 完整 性 条 件 的 表达 式 ， 或 是 这 种 表达 式 的 合 取 。 这 种 
述 从 所 有 可 能 的 类 别 中 判别 给 定 类 。 一 个 物体 类 的 差别 描述 则 是 满足 完整 性 和 一 致 性 条 件 的 
表达 式 ， 或 这 些 表 达 式 的 析 取 ， 其 目标 是 在 一 定数 目的 其 它 类 中 标识 给 定 类 。 

知识 获取 的 主要 兴趣 在 于 面向 符号 描述 的 推导 。 这 种 描述 要 易于 理解 ， 在 产生 它 所 表达 
信息 的 智能 模型 时 要 易于 应 用 ， 因 此 由 归纳 推理 产生 的 描述 要 与 人 类 的 知识 表示 相似 。 

归纳 学 习 方 法 分 类 中 ， 一 个 指导 性 原则 是 选择 归纳 断言 语言 的 类 型 。 例 如 , 常用 谓词 逻辑 
的 某 种 限定 形式 或 与 此 类 似 的 概念 ， 或 者 决策 树 、 产 生 式 规 则 、 语 义 网 络 、 框 架 等 方式 ， 或 
者 采用 多 值 逻 辑 、 模 态 逻 辑 等 。 
在 谓词 逻辑 的 基础 上 ， 进 行 修改 和 扩充 ， 增 加 一 些 附加 形式 和 新 概念 ， 以 增强 表达 能 
Michalski 等 提出 了 一 种 标注 谓词 演算 APC (Annotated Predicate Calculus)， 使 之 更 适合 于 
归纳 推理 。APC 与 通常 谓词 演算 之 间 的 主要 差别 是 : (每 个 谓词 、 变 量 和 函数 都 被 赋予 一 个 标 
注 。 标 注 是 该 描述 符 学 习 问 题 有 关 的 背景 知识 的 集合 。 例 如 描述 符 所 代表 概念 的 定义 ， 该 标 
注 与 其 它 概念 的 关系 ， 描 述 符 作 用 范围 说 明 等 。@@ 除 谓词 外 ，APC 还 包括 复合 谓词 ， 这 些 复合 
谓词 的 参数 可 以 是 复合 项 。 一 个 复合 项 是 几 个 通常 项 的 组 合 ， 如 P(t V ty A)。@ 表 达 项 之 
间 关 系 的 谓词 被 表示 为 选择 符 关 系 ， 如 :=, #, >, =, €, € OME Si}, 
还 有 数字 量词 。 该 量词 用 来 表达 满足 一 个 表达 式 的 物体 数量 信息 。 
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7.2.3 问题 背景 知识 





对 于 一 个 给 定 的 观察 陈述 集 ， 有 可 能 构造 无 数 个 列 涵 这 些 陈 述 的 归纳 断言 。 因 此 ， 有 必 
要 使 用 一 些 附加 信息 ， 即 问题 的 背景 知识 ， 限 制 可 能 的 归纳 断言 范围 ， 并 从 中 决定 一 个 或 若 
干 个 最 佳 的 归纳 断言 。 例 如 ， 在 Star 的 归纳 学 习 方 法 中 ， 背 景 知识 包括 这 样 儿 部 分 : OWE 
陈述 中 用 到 的 描述 符 信 息 ， 该 信息 附 在 每 个 描述 符 标 注 中 。 包 关于 观察 和 归纳 断言 的 形式 假 
设 。 四 列举 归纳 断言 应 有 特性 的 选择 标准 。 旬 各 种 推理 规则 、 局 发 式 规则 、 特 殊 子 程序 、 通 
用 的 和 独立 的 过 程 ， 以 便 允 许 学 习 系统 产 生 给 定 断 言 的 逻辑 结论 和 新 的 描述 符 。 由 于 观察 陈 
述 中 描述 符 选择 对 产生 归纳 断言 有 重要 影响 ， 因 此 先 考 虑 描述 符 选 择 问题 。 
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学 习 系统 输入 的 主要 内 容 是 一 个 观察 陈述 集 。 这 些 陈述 中 的 描述 符 是 事物 可 观察 到 的 特 
性 和 可 利用 的 测量 数据 ， 决 定 这 些 描述 符 是 归纳 学 习 的 一 个 主要 问题 。 可 以 通过 初始 描述 符 
与 学 习 问 题 的 联系 程度 来 刻画 学 习 方法 。 这 几 种 联系 有 : 也 完全 相关 ， 即 观察 陈述 集中 的 所 
有 描述 符 都 与 学 习 任务 直接 相关 ， 学 习 系统 的 任务 是 形成 一 个 联系 这 些 描述 符 的 归纳 断言 。 
@ 部 分 相关 ， 观 察 陈述 集中 可 能 有 许多 无 用 或 见 余 的 描述 符 ， 有 些 描述 符 是 相关 的 ， 此 时 学 
习 系 统 的 任务 是 选择 出 其 中 最 相关 的 描述 符 ， 并 用 它们 构造 合理 的 归纳 断言 。@ 间 接 相关 ， 
观察 陈述 不 包括 与 问题 直接 相关 的 描述 符 。 但 是 ， 在 初始 描述 中 ， 有 一 些 描述 符 可 以 用 来 生 
成 相关 的 描述 符 。 学 习 系 统 的 任务 是 生成 这 些 直接 相关 的 描述 符 ， 并 由 此 得 到 归纳 断言 。 
描述 符 标 注 是 描述 符 与 学 习 问 题 有 关 背 景 知识 的 集合 ， 包 括 : 






















































































































































































































































































(1) 定义 域 和 描述 符 的 类 型 说 明 ; 
(2) 与 描述 符 有 关 的 操作 符 说 明 ; 
(3) 描述 符 之 间 的 约束 和 关系 说 明 ; 

(4) 表示 数量 的 描述 符 在 问题 中 的 意义 、 变 化 规律 ; 
(5) 描述 符 可 应 用 事物 的 特性 ; 

(6) 指出 包含 给 定 描 述 符 的 类 ， 即 该 描述 符 的 父 节 点 ; 
(7) 可 代替 该 描述 符 的 同义词 ; 

(8) 描述 符 的 定义 ; 
(9) 给 出 物体 描述 符 的 典型 例子 。 
描述 符 定义 域 是 描述 符 所 能 取 值 的 集合 。 如 入 的 体温 在 34 C— 44°C 之 间 ， 则 描述 符 “ 体 
温 ” 只 能 在 这 个 范围 内 取 值 。 描 述 符 类 型 则 是 根据 描述 符 定义 域 元 素 之 间 的 关系 决定 的 。 根 
据 描述 符 定义 域 的 结构 ， 有 三 种 基本 类 型 : 
(1) 名 称 性 描述 符 。 这 种 描述 符 的 定义 域 由 独立 的 符号 或 名 字 组 成 ， 即 值 集中 值 之 间 没 
有 结构 关系 。 例 如 水 果 、 人 名 等 。 

(2) 线性 描述 符 。 该 类 描述 符 值 集中 的 元 素 是 一 个 全 序 集 。 例 如 ， 资 金 、 温 度 、 重 量 、 
产量 等 都 是 线性 描述 符 。 表 示 序 数 、 区 间 、 比 率 和 绝对 标 度 的 变量 都 是 线性 描述 符 的 特例 。 
将 一 个 集合 映射 成 一 个 完全 有 序 集 的 函数 也 是 线性 描述 符 。 

(3) 结构 描述 符 。 其 值 集 是 一 个 树 形 的 图 结构 ， 反 映 值 之 间 的 生成 层次 。 在 这 样 的 结构 
中 ， 父 节点 表示 比 子 节点 更 一 般 的 概念 。 例 如 ,在 “地 名 ”的 值 集中 ,“ 中 国 ” 是 节点 “北京 入 
“上 海 和 “江苏 入 “广东 ”等 的 父 节 点 。 结 构 描 述 符 的 定义 域 是 通过 问题 背景 知识 说 明 的 
组 推理 规则 来 定义 的 。 结 构 描 述 符 也 能 进一步 细 分 为 有 序 和 无 序 的 结构 描述 符 。 描 述 符 的 类 
型 对 确定 应 用 描述 符 的 操作 是 很 重要 的 。 
在 Star 学 习 系 统 中 ， 断 言 的 基本 形式 是 c- 表 达 式 ， 定 义 为 一 个 合 取 范 式 : 

《量词 形式 兴 关 系 陈 述 的 合 取 > (6. 5) 
其中 ， 《量词 形式 表示 零 个 或 多 个 量词 。< 关 系 陈述 > 是 特殊 形式 的 谓词 。 下 面 是 一 个 c- 表 达 
式 的 例子 : 
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limi 


Ss 















































































































































































































































































































































3 P» P:([shape (AoA P) = box] [weight (P) > weight (P) ]) 
即 物体 PURI 户 的 形状 都 是 盒子 ， 物 体 PE PE. 
c- 表 达 式 的 一 个 重要 的 特殊 形式 是 a- 表 达 式 ， 即 原子 表达 式 ， 其 中 不 含 “ 内 部 析 取 ” 所 
胃 内 部 合 取 、 析 取 ， 是 指 连接 项 的 与 、 或 ， 而 外 部 合 取 、 析 取 指 连接 谓词 的 与 、 或 ， 即 通常 
意义 下 的 逻辑 与 、 或 。 
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7.2.4 选择 型 和 构造 型 泛 化 规则 














一 个 泛 化 规则 是 从 一 个 描述 到 一 个 更 一 般 描述 之 间 的 转换 。 更 一 般 的 描述 永 真 蕴涵 初始 
述 。 由 于 泛 化 规则 是 保 假 的 , BIS FK OH, SUP SESE BE 六 为 假 ， 也 一 定 会 使 Z 为 假 ( 一 




































































F> ~H. 

概念 获取 中 ， 如 果 要 将 一 个 规则 E KEM D> KD E D 
因此 可 利用 形式 逻辑 中 的 永 真 列 涵 来 获得 泛 化 规则 。 如 形式 逻辑 中 有 PA 和 人 4  P， 则 可 将 其 
转换 成 泛 化 规则 : 





















































P :> K k Vu (7. 6) 


























用 标注 谓词 演算 来 表示 这 些 泛 化 规则 ， 主 要 考虑 将 一 个 或 多 个 陈述 转换 成 单个 更 一 般 陈 
述 的 泛 化 规则 ; 


Det PEL Dux (7.7) 




















DN De ^--^DzK D ::> K (7. 8) 


























该 规则 表示 ， 如 果 一 个 事件 满足 所 有 的 描述 7， Ge D, WU te AL 7S RII D. 
泛 化 转换 的 一 个 基本 性 质 是 : 它 得 出 的 只 是 一 个 假设 ， 需 用 新 的 数据 来 测试 ， 且 泛 化 规 

则 并 不 保证 所 得 描述 符 是 合理 的 或 有 用 的 。 泛 化 规则 分 为 两 类 : 构造 型 和 选择 型 。 知 在 产生 

概念 描述 $D$ 中 ， 用 到 的 描述 都 是 在 初始 概念 描述 3 (iE 中 出 现 过 ， 则 称 为 选择 型 泛 化 ， 

否则 称 为 构造 型 泛 化 规则 。 
1. 选择 型 泛 化 规则 
设 CTX, CTXi, CTX: 代 表 任 意 的 表达 式 。 
(1) 消除 条 件 规 则 



































































































































CTXAS :> K k OT > K (7.9) 


其 中 5 是 任意 的 谓词 或 逻辑 表达 式 。 
(2) 增加 选择 项 规则 


CTX :> K RES CT VCT :> K (7. 10) 
通过 增加 选择 项 将 概念 描述 泛 化 ， 如 : 


CTX A [color = red] :2 K kK CTX A[ZL= E] :> K 








(3) 扩大 引用 范围 规则 


CTX ^ [M= R] z» K Kk CTX A [color: red A blue] ::> K (7. 11) 








其 中 RS RSDOM(L), DMO 为 工 的 域 ， LEAH, RE LUBA MER 
(4) 闭 区 间 规 则 


CTX A[L-a]:» K 


CTXALL = a--bl::^K 1.12 
CTX A [L =b]: > 中 LL Meu) 
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其 中 /是 线性 描述 符 ，a 和 5 是 工 的 一 些 特殊 值 。 
(5) MG LL (8 9 Rt] 
CTX A[L=a]::> K 
CTX A[L=b]:> K 

















cCXAL=S::> K (7.13) 


CTX ^A [L=i]:> K 
其 中 工 是 结构 描述 符 ， 在 工 的 泛 化 树 域 中 ，S 表 示 后 继 为 a,b,“，I 的 最 低 的 父 节 点 。 
(6) 将 常量 转换 为 变量 规则 























VxF[x] (7. 14) 
Fi} 
其 中 /LJ 是 依赖 于 变量 x 的 描述 符 , a b, os I 是 常量 。 OTH PIx], dox ARE 4H (a, b 


; Df Fix], WEB: AP x TEL, FL] or 
(7) 将 合 取 转换 为 析 取 规则 


RW Beek KEV Beek (7. 15) 





































































































其 中 E, FATEH o 
(8) 扩充 量词 范围 规则 


Valle) ::> K Rage ::> K (7. 16) 























Jay xFLx] ADK K 3a» xFLx] Pec (7. 17) 











其 中 on 到 是 量词 的 域 〈 整 数 集合 )， 且 乙 E I 
(9) 泛 化 分 解 规则 
用 于 概念 获取 


PATE 

OP RE K 
用 于 描述 泛 化 

PREM OPAL, EFE, (7. 19) 








vt (7. 18) 


这 里 P 均 为 谓词 。 
(10) 反 扩充 规则 


CTX, A[L=R;]:> K 
CTX, A[L=R,]i>~ K 


其 中 e, RERE. 
给 定 一 个 属于 概念 下 的 对 象 描述 〈 正 例 ) 和 一 个 不 属于 概念 下 的 对 象 描述 〈 反 例 )， 该 规 
则 将 生成 一 个 包括 这 两 个 描述 的 更 一 般 描 述 。 这 是 实例 学 习 差别 描述 的 一 个 基本 规则 。 
2. 构造 型 泛 化 规则 
构造 性 泛 化 规则 能 生成 一 些 归纳 断言 ， 这 些 归纳 断言 使 用 的 描述 符 不 出 现在 初始 的 观察 


[Le Ro (7. 20) 
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陈述 中 ， 也 就 是 说 ， 这 些 规则 对 初始 表示 空间 进行 了 变换 。 








(1) 通用 构造 型 规则 
CTX AR :> K 
F >F, 

















该 规则 表示 , 若 一 个 概念 描述 含有 
到 一 个 更 一 般 的 描述 。 
(2) 计算 变量 规则 


























计算 量词 变量 CQ 规则 : 


q VL V2, ---, nb [V;, Vs, 5475 Vi) 








FCTXAR :> K 














(7. 21) 


WE, CA AAAS, WU ee A 4 





CQ 规则 将 产生 一 个 新 的 描述 符 “#y-COND”， 表 示 满 足 某 条 件 COND 的 vw 的 个 数 。 例 如 ， 






































“#v-length 一 2. .4”， 表 示 其 长 度 在 2 和 4 之 间 vj 的 个 数 。 
在 描述 中 一 个 描述 符 是 一 个 具有 几 个 变量 的 关系 
REL (v;, v =), CA 规则 将 计算 关系 REL 中 满足 条 件 COND 的 个 数 。 





计算 谓词 变量 个 数 CA 规则 : 








(3) 产生 链 属 性 规则 


















































概念 描述 中 ， 若 一 个 概念 描述 中 传递 关系 不 同 出 现 的 变量 形成 一 条 链 , 该 规则 

















链 中 某 些 特定 对 象 的 特征 的 描述 符 。 




















这 种 对 象 可 能 是 : 














LST- 对 象 :“ 最 小 的 对 象 ” 或 链 的 开始 对 象 。 


MST- 对 象 : 链 的 结束 对 象 。 
MID- 对 象 : 链 中 间 的 对 象 。 











Nth- 对 象 : 链 中 第 N 个 位 置 上 的 对 象 。 

(4) 检测 描述 符 之 间 的 相互 依靠 关系 规则 

假设 已 知 一 个 例 示 某 个 概念 的 对 象 集合 ， 用 属性 描述 来 刻画 对 象 的 特征 。 这 
义 出 对 象 的 属性 值 ， 它 们 不 刻画 对 象 的 结构 特性 。 假 设 在 所 有 事实 描述 中 ， 线 性 描述 符 x 的 
值 按 升 序 排列 ， 而 另 一 个 线性 描述 符 y 的 对 应 值 也 是 升序 或 降序 的 ， 则 生成 一 个 



























































M(x, y), XR x, y ZAA KA 


7.3 偏 置 变换 






























































当 y 值 为 升序 时 ， 描 述 符 取 值 1, 当 降 序 时 取 值 
































能 生成 刻画 





些 描述 仅 定 























2 维 描述 符 











<_— 
o 

















偏 置 在 概念 学 习 中 具有 重要 作用 。 








所 谓 偏 置 ， 是 指 概念 学 习 中 除了 正 、 反 例 


























假设 选择 的 所 有 因素 。 这 些 因素 包括 : 叫 描 述 假设 的 语言 。 凶 程序 考虑 假设 的 



























































么 顺序 假设 的 过 程 。 外 承认 定义 的 准则 ， 即 研究 过 程 带 有 已 知 假设 可 以 终止 还 是 


























选 一 个 更 好 的 假设 。 采 用 偏 置 方 法 ， 























置 有 两 个 特点 : 
i 

















学 习 部 分 选择 不 同 的 假设 ， 会 导致 不 同 的 归 





(0) 强 
大 量 的 假设 。 





























置 是 把 概念 学 习 集中 于 相对 少量 的 假设 ， 反之， 弱 侦 置 允 许 概念 学 



































(2) 正确 偏 置 允许 概念 学 习 选 择 目标 概念 ， 不 正确 偏 置 就 不 能 选择 目标 概念 。 
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Fah, N 


"ERI. GET 


应 该 继续 挑 
纳 跳跃 。 偏 

















习 考 虑 相对 


偏 置 















训练 集 





训练 例 


7.1 偏 置 在 归纳 学 习 中 的 作用 












































图 7.1 给 出 了 偏 置 在 归纳 学 习 中 的 作用 。 由 图 可 知 ， 给 定 任何 特殊 顺序 的 训练 例子 ， 归 





















































当 偏 置 很 弱 且 不 正确 时 ， 概 念 学 习 的 任务 是 最 困难 的 
了 变换 一 个 较 弱 的 偏 置 ， 可 以 采用 下 面 的 算法 : 

(1) 经 过 启发 式 ， 推 荐 新 概念 描述 加 到 概念 描述 语言 。 

(2) 变换 推荐 的 描述 成 为 概念 描述 语言 已 形式 化 表示 的 新 概念 描述 。 
(3) 同化 任何 新 概念 进入 假设 的 限定 空间 ， 保 持 假 设 空间 机 制 。 
























































































































































纳 就 变 成 一 个 自 变量 的 函数 。 当 偏 置 很 强 且 正确 时 ， 概 念 学 习 能 立即 选择 可 用 的 目标 概念 。 
因为 没有 什么 引导 可 以 选择 假设 。 为 





























上 述 算法 中 ， 第 (1) 步 确定 一 个 更 好 的 偏 置 。 第 (2) 、(3) 步 机 器 执行 变换 ， 其 结果 新 概念 









































述 语言 较 前 面 的 描述 语言 要 好 。 



















































































实现 归纳 学 习 ， 需 要 研究 一 个 好 的 偏 置 。 关 于 偶 置 变换 的 根本 问题 ， 包 括 同化 生成 知识 
获取 问题 的 任务 、 初 始 偏 置 的 计算 、 目 标 自 由 与 目标 敏感 的 方法 等 ， 尚 需 进一步 研究 。 

































































7.4 变型 空间 方法 








变型 空间 (Version Space) 方 法 以 整个 规则 空间 为 初始 的 假设 规则 集合 如 依据 训练 例子 




















要 求 的 规则 。 由 于 被 搜索 的 空间 7 逐步 缩小 ， 故 称 为 变型 空间 。 

















中 的 信息 ， 它 对 集合 H 进行 泛 化 或 特 化 处 理 ， 逐 步 缩小 集合 $H$。 最 后 使 $H$ 收 敛 为 只 含有 














Mitchell(1977) 指 出 ， 规 则 空间 中 的 点 之 间 可 以 按 其 一 般 性 程度 建立 偏 序 关系 。 在 图 7.2 
































中 表示 了 一 个 规则 空间 中 偏 序 关系 的 一 部 分 。 其 中 TRUE 表示 没有 任何 条 件 ， 


念 。 概 念 3xCLUBS Q) 表示 至 少 有 一 张 梅 花 牌 , 它 比 前 者 更 特殊 。 概 念 3% CLU 



























































这 是 最 一 般 的 概 


BS (x) AHEARTS (y) 




















表示 至 少 有 一 张 梅 花 牌 且 至 少 有 一 张 红 心 牌 ， 它 比 前 两 个 概念 都 特殊 。 图 中 的 箭头 是 从 较 特 
殊 的 概念 指向 较 一 般 的 概念 。 
pd pu 
3x: CLUBS(3) 3y: SPADES() 
3xy: CLUBS(x) wedge HEARTS(y) — 3x CLUBS(x) ^ SPADES(y 
图 7.2 ”一 个 规则 空间 的 偏 序 关系 
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一 般 规 则 空间 排序 后 的 示意 图 见 图 7.3. Pd rd ER ee Ec — PCIE LU) AER), 





























练 正 侈 
色 和 点 数 ， 一 个 例子 是 


= 

















这 是 一 个 训练 正 例 ， 又 是 一 个 最 特殊 的 概念 。 概 念 RANK (C, T) 是 在 规则 空间 


















































SUIT(C, clubs) ^ RANK(C, 7) 




















没有 描述 更 特殊 ， 但 比 训练 正 例 更 





图 7.3 

















子 集 称 为 9 集合。 在 规则 空间 中 ， 
示 集 合 Ho 











变型 空间 方法 的 初始 c 集 是 最 
线 上 的 点 (训练 正 例 ), 初始 7 集 是 整个 规则 空间 。 在 搜索 过 程 ， 
S 集 逐 步 上 移 (进行 泛 化 )，H 逐步 缩小 。 最 后 # 收 敛 为 只 含 一 个 要 求 的 概念 。 下 面 分 别 介 














几 种 算法 。 





在 搜索 规则 空间 时 ， 使 用 一 个 可 能 合 到 
是 规则 空间 中 间 一 段 。4 中 最 一 般 的 元 素 组 成 的 子 集 称 为 c 集合 ，Z 中 最 特殊 的 元 素 组 成 的 


般 。 


没有 描述 更 一 般 


一 般 规 则 空间 排序 示意 图 





的 假设 规则 的 集合 如 H 是 规则 空 














是 没有 描述 的 点 ， 即 没有 条 件 的 点 。 所 有 例子 都 符合 这 一 概念 。 图 中 最 下 面 一 行 的 各 点 是 训 
直接 对 应 的 概念 。 每 个 点 的 概念 上 只 符 合 一 个 正 例 。 例 如 ， 每 个 例子 都 是 一 张 牌 C 的 花 





部 的 点 。 它 比 

















间 的 子 集 ， 它 














HLF G 和 下 界 5 之 间 的 一 段 。 因 此 可 以 用 C 和 SK 
































7.4.1 消除 候选 元 素 算法 


Mitchell 的 算法 称 为 消除 候选 元 素 算法 ， 它 利用 边界 集合 6 和 5 表示 集合 M 集合 H 




















称 为 变型 空间 ， 刀 中 所 有 的 概念 














任 一 反例 。 



































上 面 的 一 个 点 (最 一 般 的 概念 )， 初 始 S 集 是 最 下 面 的 直 
06 集 逐 步 下 移 (进行 特 化 )， 



































述 都 满足 至 此 已 提供 的 全 部 正 例 ， 且 不 满足 至 此 已 提供 的 














AHT, 是 整个 规则 空间 。 在 接受 训练 正 例 后 ， 程 序 进 行 泛 化 ， 从 OH 中 去 掉 一 些 较 特 


殊 的 概念 ， 使 5 集 上 移 。 在 接受 训练 反例 后 ， 程 序 进 行 特 殊 化 ， 从 有 中 去 掉 一 些 较 一 般 的 概 
念 ， 使 6 集 下 移 。 二 者 都 从 台中 消除 一 些 候选 概念 。 算 法 过 程 可 分 四 步 。 

















算法 7.1 消除 候选 元 素 算法 








(1) 初始 化 #7 集 是 整个 规则 空间 ， 这 时 S 包含 所 有 可 能 的 训练 正 例 《〈 最 特殊 的 概念 )。 
这 时 5 集 规模 太 大 。 实 际 算法 的 初始 5 集 只 包含 第 一 个 训练 正 例 ， 这 种 7 就 不 是 全 空间 了 。 








(2) 接收 一 个 新 的 训练 例子 。 如 果 是 正 例 ， 则 首先 由 C 中 去 掉 不 履 盖 新 正 例 的 概念 ， 然 
后 修改 5 为 由 新 正 例 和 $5 原 有 元 素 共 同 归 纳 出 的 最 特殊 的 结果 (这 就 是 尽量 少 修改 S, (HR 


ok S$ 履 盖 新 正 例 )。 如 果 这 是 反例 ， 
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则 首先 由 5 PARA di VA SCPLS GS 
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然后 修改 6 为 由 


新 反例 和 6 原 有 元 素 共 同 作 特 殊 化 的 最 一 般 的 结果 《〈 这 就 是 尽量 少 修改 6, 但 要 求 OANA itt 
新 反例 )。 
(3) 4 6=5 且 是 单元 素 集 ， 则 转 (4)， 否 则 转 (2). 
(4) 输出 #7 中 的 概念 ( 即 G 和 S). 
下 面 给 出 一 个 实例 。 用 特征 向 量 描述 物体 ， 每 个 物体 有 两 个 特征 : 大 小 和 形状 。 物 体 的 
大 小 可 以 是 大 的 (1g) 或 小 的 (sm 。 物 体 的 形状 可 以 是 圆 的 (cir) 、 方 的 (squ) 或 三 角 的 
(tri) 。 要 教 给 程序 “ 圆 ” 的 概念 ， 这 可 以 表示 为 (5 cir), HP x 表示 任何 大 小 。 
初始 8 集 是 规则 空间 。6G 和 3 集 分 别 是 
{xy y)} 
S={(sm squ), (sm cir), (sm tri), (lg squ), (lg cir), (lg tri)} 
初始 变型 空间 # 如 图 7.4 所 示 。 
第 一 个 训练 例子 是 正 例 (sm cir) ， 这 表示 小 圆 是 圆 。 经 过 修改 S 算法 后 得 到 
G={(x y») 
S ={(sm cir)} 

















































































































& y 
(m y) dg y) (& su) & cid) & tri) 


(m squ) (g sq) (m ci) (g ci (Gm tì (lg tri) 
图 7.4 初始 变型 空间 
图 7.5 显示 第 一 个 训练 例子 后 的 变型 空间 。 图 中 由 箭头 线 连接 的 四 个 概念 组 成 变型 空间 。 满 
足 第 一 个 训练 例子 的 正 是 这 四 个 概念 ， 并 仅 有 这 四 个 。 实 际 算法 中 以 这 个 作为 初始 变型 空间 ， 
而 不 用 图 7.4 。 



































(any) (gy) & squ) & cid & tri) 


(m. squ) (g sq) (m ci) (g ci) (Gm tì (lg tri) 
图 7.5 第 一 个 训练 例子 后 的 变型 空间 

第 二 个 训练 例子 是 反例 (lg tri) 。 这 表示 大 三 角 不 是 圆 。 这 一 步 对 6 集 进行 特 化 处 理 ， 
得 到 

















G={(x cir), (sm y)} 

S ={(sm cir)} 
图 7.6 显示 第 二 个 训练 例子 后 的 变型 空间 。 这 时 Z 仅 含 三 个 概念 ， 它 们 满足 上 一 个 正 例 ， 但 
不 满足 这 一 个 反例 的 全 部 概念 。 
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G-((x c 
S-((xc 








(em squ) 


g squ) 


& y) 
(g y) & squ) & cir) & tri) 
(m ci) dg ci) (m tì dg tri) 


图 7.6 第 二 个 训练 例子 后 的 变型 空间 
第 三 个 训练 例子 是 正 例 \1g 
例 的 概念 (sm y) 。 再 对 S 和 该 正 例 作 泛 化 ， 得 到 








ir)} 
ir)} 








cir) 。 这 表示 大 





这 时 算法 结束 ， 输 出 概念 (x cir). 

















对 这 个 算法 





再 补充 说 明 几 点 。 





(1) 对 集合 C 和 “5 的 理解 。 














集合 6 是 其 必要 


满足 所 求 概念 。 当 时 程 
y) 是 必要 条 件 ， 即 满足 所 求 概念 的 例子 或 者 








了 充 要 条 件 。 


(2) 学 习 正 例 时 ， 对 $ 进 行 泛 化 ， 这 往往 扩大 $5。 学 习 反 例 时 ， 对 6 进行 特 化 ， 这 往往 


日 造 成 困难 。 算 法 是 在 训练 例子 引导 下 ， 对 规则 空 


扩大 G CAM 








条 件 的 集合 。 











S 的 规模 过 大 会 给 算法 的 实 月 


到 还 不 知道 大 











圆 是 圆 。 这 一 步 首 先 从 6 中 去 挥 不 满足 此 正 











对 于 符合 所 求 概念 的 新 例子 ， 集 合 5 是 




















E 
AE 
































间 进 行 宽度 优先 搜索 。 对 大 的 规则 空间 ， 算 法 慢 得 无 法 接受 。 


7.4.2 两 种 改进 算法 




















DUK 





第 一 种 是 冲突 匹配 算法 (Hayes-Roth 和 McDormott). E 
表达 的 概念 。 在 上 述 的 



































合 取 条 件 。 例 如 ， 


述 形式 为 谓词 表达 式 ， 则 这 个 过 程 相当 于 寻找 最 大 的 





S 集合 为 


修改 S$ 过程! 





基本 的 变型 空间 学 习 方法 很 难 实 用 ， 人 们 提出 了 一 些 改 进 的 方法 。 其 
] 正 例 学 习 ， 它 们 类 似 于 上 述 的 修改 ?过程 。 




















HEA 


NA»? 





充分 条 件 的 





例如 在 第 一 个 训练 例子 后 ， (sm cir) 是 充分 条 件 ， 即 小 圆 一 定 
圆 是 否 满足 。 又 如 在 第 二 个 训练 例子 后 ，(x cir) 和 (sm 
Bl, RADA. SUSAR, Gs, BAL 





























中 两 种 改进 的 算法 






































公共 








] 于 学 习 “ 参 数 化 结构 表示 ”所 
， 总 是 对 ?5 作 尽量 少 的 泛 化 ， 以 便 履 善 新 的 正 例 。 如 果 
子 表 达 式 ， 这 只 需要 去 掉 最 少 的 





S= {BLOCK (x) A BLOCK (y) A SQUARE (y) ARECTANGLE (x) AONTOP Cx, y) } 


这 表示 积木 x AR 


Tl = {B 
这 表示 积木 w 为 





正方 形 ， 积 





V 





经 过 修改 Si 


S = (S, 
[rn 


2d 





过 程 ， 





Sj 


IUE, BAAS 了 为 正方 形 ， 且 


将 产生 下 列 公共 子 集 





HEKE, H rE vL. 








Sı BLOCK (a) A BLOCK (5) A SQUARE (a) A RECTANGLE (b) 
S=BLOCK (c) A BLOCK (a) AONTOP (c, d) 
S, 相当 于 假设 ONTOP 这 个 位 置 关 系 与 所 求 概念 无 关 。5; 相当 于 假设 积木 形状 与 所 求 概念 


无 关 。 应 当 注意 ， 





当 x 对 应 w H 





了 对 应 Vv 时 ，5 与 厂 的 位 置 关系 匹配 ， 但 
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xE 上 。 若 下 一 个 训练 正 例 五 为 
LOCK (m) A BLOCK (v) A. SQUARE (m) ARECTANGLE (v) AONTOP (y, v)} 








形状 特征 不 匹配 。 
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RZ, 4 了 对 应 而 了 对 应 ow 
在 匹配 中 的 ; 












































' 突 。 为 了 解决 冲突 ， 在 9 中 
第 二 种 方法 是 最 大 的 合 一 泛 化 。 这 个 算法 





IN, S5 的 形状 特征 匹配 ， 


{ 














位 置 关 系 不 匹配 。 这 种 现象 是 














用 两 个 元 素 分 别 


考虑 这 两 个 方面 














9 词 表 达 式 的 最 大 的 合 一 泛 化 。 














TK 























于 寻找 i 

















GR 


似 于 冲突 匹配 算法 ， 但 是 它 使 用 的 表示 语言 允许 在 匹配 中 多 对 一 的 参数 联系 。 
变型 空间 方法 有 如 下 两 个 主要 缺点 : 








(1) 抗 干 扰 能 力 差 。 











所 有 数据 驱动 方法 〈 包 括 变 型 空间 方法 〉 都 难以 处 理 有 干扰 的 训练 例子 。 由 于 算法 得 到 


的 概念 应 满足 每 个 训练 例子 的 要 求 ， 所 以 一 个 错误 例子 会 造成 很 大 影响 。 有 时 错误 例子 使 程 


序 得 到 错误 概念 ， 有 时 得 不 到 相 


Mitchel] (1978) 提出 的 解决 方法 是 保存 多 个 C 和 SRF. 








BERANE BSH 
































念 ， 这 时 有 成 为 空 集 。 




















概念 符合 


(2) 学 习 析 取 概念 。 


























例如 ，So 符 合 所 有 正 例 ，5; 符 


它 的 正 例 ，5; 等 类 似 。 如 果 G 超过 SS Wu] 肋 为 空 集 。 这 说 明 没 有 任何 一 个 
部 例子 . 于 是 程序 去 找 GAS, DEES Ho WER md, 


则 找 Heo 





变型 空间 方法 不 能 发 现 析 取 的 概念 。 有 些 概念 是 析 取 的 。 例 如 ，PARENT 可 能 是 父亲 ， 也 
可 能 是 母亲 。 这 表示 为 PARENT (x) =FATHER (x) V. PARENT (x)=MOTHER (x), 由 于 集合 6 和 集合 5 
的 元 素 都 是 合 取 形式 ， 所 以 上 述 算法 找 不 到 析 取 概念 。 














第 一 种 解决 方法 使 用 不 含 析 取 联结 词 的 表示 语言 。 

















以 找到 覆盖 全 部 例子 的 多 个 合 取 描述 。 
算法 7. 2 学 习 析 取 概念 算法 





第 一 步 : 

















A 




















修改 Go 


AS 








第 三 步 : 在 6 中 选择 


4 



































= 





HA gl 

















部 分 正 例 。 这 时 从 正 例 集合 中 去 掉 比 & 
第 四 步 :对 剩余 的 正 例 和 全 部 反例 ， 重 复 一 、 二 、 





























它 重复 多 次 进行 消除 候选 元 素 工作 ， 








集合 S 初始 化 为 只 含 一 个 正 例 ， 集 合 6 初始 化 为 没有 描述 。 
第 二 步 : 对 每 个 反例 ， 进 行 











B e 把 gz 作为 解 集合 中 的 一 个 合 取 式 。 4 不 覆盖 任 一 反例 ， 
特殊 的 所 有 正 例 〈 即 8 履 盖 的 那些 正 例 )。 








每 次 循环 得 到 的 的 析 取 就 是 所 求 概念。 


这 个 析 取 不 覆盖 任 一 反例 ， 


一 个 g Bu 




















它 去 掉 的 正 例 。 注 意 





而 ] 











I> 

















至 少 履 盖 第 一 步 那个 正 例 ， 所 以 e 至 少 去 掉 这 个 正 例 。 


























启发 式 方法 选择 一 个 正 例 


ar 
Da 


第 二 个 方法 称 为 AQ BIE [Michal ski 





1975] 








三 步 ， 直 








到 所 有 正 例 都 被 覆盖 。 于 是 ， 


日 每 一 个 g 都 不 履 盖 任 一 反例 。 该 析 取 歼 善 全 部 正 例 ， 每 
| 于 没有 修改 S 过 程 ， 所 以 e 不 覆盖 全 部 正 例 ,但 g 

















。 这 类 似 于 上 一 种 算法 ， 只 是 AQ 算法 在 第 














， 要 求 这 个 正 例 是 前 几 个 g PRA uW. Larson 改进 了 

















AQ 算法 ， 把 它 用 于 推广 的 谓词 演 








7.5 AQ 归纳 学 习 算 法 


1969 年 , Micha 














ski 提出 了 AQ 学 习 算 法 ， 这 是 一 种 基于 实例 的 学 习 方法 。AQ 算法 生成 的 


选择 假设 的 析 取 ， 履 盖 全 部 正 例 ， 而 不 覆盖 任何 反例 。 它 的 基本 算法 如 下 : 














算法 7.3 简单 的 AQ 学 习 算法 。 











(1) 集中 注意 一 个 实例 (作为 种 子 ) ; 
(2) 生成 该 实例 的 一 致 性 泛 化 式 ( 称 作 star) ; 























(3) AEH 





i 好 标准 ， 











(2). 





Michalski 于 1978 年 提出 了 AQ11。 它 搜索 规则 空间 ， 反 复 应 








从 star 选择 最 优 的 泛 化 式 (假设 ) 。 如 果 需 要 ， 特 化 该 假设 ; 
(4) 如 果 该 假设 柳 盖 了 全 部 实例 ， 则 停止 ; 否则 选择 一 个 未 被 假设 绪 盖 的 实例 , 转 到 
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消除 候选 元 素 ， 得 到 尽 可 
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能 一 般 的 规则 
类 的 规则 ， 它 
正 例 而 不 包括 
未 观察 的 区 域 

为 了 寻找 
妃 的 例子 和 已 
ARAB si E AB EB 























o AQIL 算法 把 学 习 鉴别 规则 问题 转化 为 一 系列 学 习 单个 概念 问题 。 为 了 得 到 C 
把 CG 类 的 例子 作为 正 例 ， 而 把 所 有 其 它 类 的 例子 作为 反例 。 由 此 找到 覆盖 全 部 
任 一 反例 的 描述 ， 以 此 作为 G 的 规则 。 这 样 找 到 的 鉴别 规则 可 能 在 例子 空间 中 
Py HIS 
不 重 和 迭 的 分 类 规则 集 ,AQ11 以 CG 类 的 例子 为 正 例 , 反 例 包括 所 有 其 它 类 型 CC] + 
处 理 的 各 类 型 Gu s ks 刀 的 正 例 区 中 的 全 部 正 例 。 于 是 ， 忆 类 只 履 盖 OR 
Do CRR TAB ELE CM C 类 都 不 履 盖 的 部 分 。 



























































AQ11 得 到 的 鉴别 规则 相当 于 符合 训练 例子 的 最 一 般 的 描述 的 集合 , 即 各 类 型 的 6 集合 Gi, 



























































GG 等 。 有 时 要 使 用 符合 训练 例子 的 最 特殊 的 描述 的 集合 ， 即 各 类 型 的 5 集合 5，5 等 。 


Michalsk 

















i 等 采用 AQ11 程序 学 习 15 种 黄豆 病害 的 诊断 规则 。 提供 给 程序 630 种 患 病 黄豆 




















植株 的 描述 ， 
子 程序 从 中 先 
植株 留 作 测 斌 























7.6 CLS 


CLS 学 习 
来 的 许多 决策 











每 个 描述 是 35 个 特征 的 特征 向 量 。 同 时 送 入 每 个 描述 的 专家 诊断 结论 。 选 择 例 
出 290 种 样本 植株 作为 训练 例子 。 选 择 准 则 是 使 例子 间 相 差 较 大 。 其 余 340 种 
集合 ， 用 来 检验 得 到 的 规则 。 


















































学 习 算法 






































算法 是 1966 年 由 Hunt 等 提出 的 [Hunt 1966]。 它 是 早期 的 决策 树 学 习 算 法 ， 后 
树 学 习 算法 都 可 以 看 作 是 CLS 算法 的 改进 与 更 新 。 























CLS 算法 的 主要 思想 是 从 一 个 空 的 决策 树 出 发 ， 通 过 添加 新 的 判定 结 点 来 改善 原来 的 决 





策 树 ， 直 至 该 























决策 树 能 够 正确 地 将 训练 实例 分 类 为 止 。 


















































算法 7.4 CLS 算法 . 

(1) 令 决 策 树 工 的 初始 状态 只 含有 一 个 树 根 (X，Q)， 其 中 X 是 全 体 训练 实例 的 集合 ，Q 
是 全 体 测试 属性 的 集合 ; 

(2) XE T WGI CX’, TO 都 有 如 下 状态 : 或 者 第 一 个 分 量 X” 中 的 训练 实例 都 
属于 同一 各 类 ， 或 者 第 二 个 分 量 Q” 为 空 ， 则 停止 执行 学 习 算 法 ， 学 习 的 结果 为 T; 




















G) 否则， 选取 一 个 不 具有 第 2 步 所 述 状 态 的 叶 结 点 OX, Q): 


(4) 对 于 














Q”， 按 照 一 定 规则 选取 测试 属性 b， 设 X^ BE b 的 不 同 取 值 分 为 m 个 不 相交 的 
































TE Xi’, Him, A OU, Q'O 伸 出 mn 个 分 又 ， 每 个 分 又 代表 b 的 一 个 不 同 取 值 ， 从 而 形 














成 um 个 新 的 叶 
(5) 转 2。 





结 点 (Xi, R -{b}), le€ism 




















从 CLS 算法 的 描述 可 以 看 出 ， 决 策 树 的 构造 过 程 也 就 是 假设 特 化 的 过 程 ， 所 以 CLS 算法 














可 以 看 作 是 
条 件 〈 新 的 判 
上 ， 来 构造 决 
在 算法 7. 
实例 属于 不 同 





























个 只 带 一 个 操作 符 的 学 习 算法 ， 此 操作 符 可 以 表示 为 : 通过 添加 一 个 新 的 判定 
定 结 点 )， 特 化 当前 假设 。CLS 算法 递归 的 调用 这 个 操作 符 ， 作 用 在 每 个 叶 结 点 
策 树 。 

4 的 步骤 (2) 中 , 如 果 训 练 实例 集 没 有 矛盾 , 即 在 没有 所 有 属性 的 取 值 相同 的 两 个 
的 类 ， 则 如 果 第 二 个 条 件 得 到 满足 〈 即 Q” 为 空 )， 则 第 一 个 条 件 ( 即 X” 的 所 








































































































有 训练 实例 都 属于 同一 个 类 ) 也 会 得 到 满足 ， 即 停止 条 件 只 用 二 者 


























间 的 任何 一 个 即 可 。 但 











是 对 于 可 能 存 
在 算法 的 
实例 ， 则 难以 
在 算法 的 


T 
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在 的 有 矛盾 的 训练 实例 集 ， 上 述说 法 不 一 定 成 立 。 
步骤 (4) 中 ， 应 该 满足 m>1 否则 继续 分 类 没有 意义 。 但 是 ， 若 X 中 有 了 矛盾 的 训练 
保证 m»1. 
步骤 (4) 中 ， 并 未 明确 给 出 测试 属性 的 选取 标准 ， 所 以 CLS 有 很 大 的 改进 空间 。 
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7.61D3 学 习 算 法 


























在 算法 7.4 中 并 未 给 出 如 何 选取 测试 属性 b，Hunt 曾经 提出 几 种 选择 标准 。 但 在 决策 树 学 
习 算 法 的 各 种 算法 当中 ， 最 为 有 影响 的 是 Quinlan 于 1979 Ee h B5 EA SURE F EXE RETE Jy 
选取 测试 属性 的 标准 的 ID3 算法 [Quinlan 1979]。 信 息 炉 的 下 降 也 就 是 信息 不 确定 性 的 下 降 。 













































































7.6.1 信息 论 简介 























1948 年 Shannon 提出 并 发 展 了 信息 论 ， 研 究 以 数学 的 方法 度量 并 研究 信息 。 通 过 通信 后 
对 信 源 中 各 种 符号 出 现 的 不 确定 程度 的 消除 来 度量 信息 量 的 大 小 。 它 提出 了 一 系列 概念 : 

(1) 自 信息 量 。 在 收 到 a 之 前 ， 收 信者 对 信 源 发 出 ai 的 不 确定 性 定义 为 信息 符号 ai 的 自信 
息 量 I (aj). BHI Ca = 一 log p (a), EA pa AMER E ai 的 概率 。 

(2) 信息 焙 。 自 信息 量 只 能 反映 符号 的 不 确定 性 ， 而 信息 炉 可 以 用 来 度量 整个 信 源 XX 整 
体 的 不 确定 性 ， 定 义 如 下 : 


































































































































































































H (X)- p(a,)I(a,) * p(a,)I(a,) * ...... p(a,)1I(a,) 


= -X p(a,)log p(a,) (7.22) 








HP r AEW x 所 有 可 能 的 符 
Me EM 0 
(3) ATARI. WREAU X 与 随机 变量 Y 不 是 相互 独立 的 ， 收 信者 收 到 信息 Y。 那 么 ， 用 
BAP I HCX/Y) 来 度量 收 信者 在 收 到 随机 变量 Y 之 后 ,对 随机 变量 X 仍然 存在 的 不 确定 性 。 假 
设 X 对 应 信 源 符号 a， 立 对 应 信 源 符号 bj。 p(a; / b) 为 当 立 为 上 时 和 为 ai 的 概率 。 则 有 : 


nu 
c 
«n 
BE 
yum 


LE e REUS AMES PURSE E B et ES SCORE A 
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H(X/Y)=->> p(ab,)log p(a, /b,) (7.23) 
i=l j=l 
(4) 平均 互信 息 量 。 用 它 来 表示 信号 Y 所 能 提供 的 关于 XX 的 信息 量 的 大 小 , HIX, YO 
ER: 





























I(X,Y)=H(X)-H(X/Y) (7.24) 


7.6.2 信息 论 在 决策 树 学 习 中 得 以 以 及 应 用 


在 算法 7.4 中 ,我 们 在 学 习 开始 的 时 候 上 只 有 一 棵 空 的 决策 树 ， 并 不 知道 如 何 根据 属性 将 实 
例 进行 分 类 ， 我 们 所 要 做 的 就 是 根据 训练 实例 集 构造 决策 树 来 预测 如 何 根据 属性 对 整个 实例 
空间 进行 划分 。 设 此 时 训练 实例 集 为 X， 目 的 是 将 训练 实例 分 为 n 类 ， 设 属于 第 i 类 的 训练 实 
例 个 数 是 C; X 中 总 的 训练 实例 个 数 为 | 多 I， 若 记 一 个 实例 属于 第 i 类 的 概率 为 (Ci) 则 : 
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P(C)=— 





x 


此 时 决策 树 对 划分 C 的 不 确定 程度 为 : 




















H(X,C)=-> P(C,)logP(C,) 
DUR TEXCIR UU PIS HX, CÓ 简 记 为 H CX》 























决策 树 学 习 过 程 就 是 使 得 决策 树 对 划分 的 不 确 




















H(X/a)= -2)2.p(Cia =a,)log p(Ci/a=a,) 

















进行 测试 ， 在 得 知 a =a, 


j 


IX | 





P(Ci;a=a,)= 


率 。 此 时 决策 树 对 分 类 的 不 确定 程度 就 是 训练 实例 集 对 




















的 情况 下 


， 即 P (Cy: a=aj) 为 在 测试 属性 








”类 











Ez 
My 了 











H(X,)=->) p(Ci/a=a,)log p(Ci/a=a,) 




















办 为 在 选择 测试 属性 a 后 人 














H(X /a) = > pla=a,)H(X,) 





属性 a 对 于 分 类 提供 的 信息 量 为 CX; a): 


I(X:a)=H(X)- H(X/a) 


XX (7.29) 的 值 越 小 则 式 (7.30〉 的 值 


* a 之 后 对 分 类 的 不 确定 程度 越 小 。 
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7.6.3 ID3 算法 


在 ID3 算法 中 除去 以 信息 
法 中 ， 因 为 每 次 运行 开始 的 时 候 算法 要 知 
无 法 立刻 全 部 放 入 内 存 ， 会 发 生 一 些 问 题 












































RK, 
Quinlan 的 ID3 算法 就 是 选择 
作为 测试 属性 ， 也 即 选 择 使 得 式 〈7.29) 最 小 的 


\ 论 测度 作为 标准 














属性 ao 


角 定 程度 逐渐 减 小 的 过 程 。 


出 的 每 个 aza 叶 结 点 蕊 对 于 分 类 信息 


说 明 选 择 测试 属性 a 对 于 分 类 提供 的 信息 


AI X; a) 最 大 的 属 





JETE X HI ZR TPG o 


的 的 信息 


























道 所 有 训练 实例 ， 





之 外 ， 还 引入 了 增 


NA 








BE 





例 个 数 为 Cy 


(7.25) 


(7.26) 








若 选 择 测 试 





属性 a 


三 Pla =a,)p(Ci/a=a,)log p(Ci/a=a,) 


-XMp(a-aj)Y, p(Cila-a,)log p(Ci/a=a,) 


(727) 
qs UH 


a 的 取 值 为 gj 时 它 属于 第 i 类 的 概 





(7.28) 


A A: 
(7.29) 





(7.30) 


RK, 





量 式 学 习 的 技术 。 在 CLS 算 


训练 实例 集 过 大 的 时 候 ， 实 例 


o Quinlan 在 ID3 算法 中 引入 了 窗口 (windows) 的 





方法 进行 增 量 式 学 习 来 解决 这 个 问题 。 





Fi 





j 给 出 ID3 算法 。 











算法 7.5 ID3 算法 
(1) 选 出 整个 训练 实例 集 XX 的 规模 为 W 





(2) 以 使 得 (7.29) 式 的 值 最 小 为 标准 ， 








(3) 顺 序 扫描 所 有 训练 实例 ， 找 出 当前 
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com 1000000 


LE 


生 形成 当前 窗 














的 随机 子 集 X!(W 称 为 窗口 规模 ， 子 集 称 为 窗口 ); 
选取 每 次 的 测试 属 | 
的 决策 树 的 例外 ， 如 果 没 有 例外 则 训练 结束 ; 


口 的 决策 树 ; 























(4) 组 合 当前 窗口 的 一 些 训练 实例 与 某 些 在 (3) 中 找到 的 例外 形成 新 的 窗口 ， 转 (2)。 

为 了 在 步骤 (4) 建 立新 的 窗口 ，Quinlan 试验 了 两 种 不 同 的 策略 : 一 个 策略 是 保留 窗口 的 所 
有 实例 ， 并 添加 从 步骤 (3) 中 获得 的 用 户 指定 数目 的 例外 ， 这 将 大 大 扩充 窗口 ， 第 二 个 策略 是 
相当 于 当前 决策 树 的 每 一 个 叶 结 点 保留 一 个 训练 实例 ， 其 余 实例 则 从 窗口 中 删除 ， 并 用 例外 
进行 替换 。 实 验证 明 两 种 方法 都 工作 得 很 好 ， 但 是 如 果 概 念 复杂 到 不 能 发 现 固定 规模 W 的 任 
意 窗口 的 时 候 ， 第 二 种 方法 可 能 不 收敛 。 


7.6.4 ID3 算法 应 用 举例 


K 7.2 给 出 了 一 个 可 能 带 有 噪音 的 数据 集合 。 它 有 四 个 属性 ，Outlook、Temperature、 
Humidity, Windy. xS ER 类 ，P 与 N， 分 别 为 正 例 与 反例 。 所 要 做 的 就 是 构造 决策 树 将 
数据 进行 分 类 。 
因为 初始 时 刻 属于 了 类 和 N 类 的 实例 个 数 均 为 12 个 ， 所 以 初始 时 刻 的 箭 值 为 ; 
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12 12 12 12 
H (X 1 1 -1 
( ) 24 is 24 24 s 24 
如 果 选 取 Outlook JR FETE A SU i Js EWA, REA (2.8), HEINE PPE : 
9 4 4 5 5 8 1 L7 7 
H ( X / Outlook po Cig Bo 0 OP gu ES c x bg 9B re, 
7 1 1 6 6 
+g C 7g 村 -了 log 7) = 0.5528 
如 果 选 取 Temperature 属性 作为 测试 属性 则 有 : 
8 4 4 4 4 11 4 4 7 7 
H(X /Tomp Dag gs so ies d ee 1 OE! n ag E r9 
5 4 4 1 1 
+ C uq 
如 果 选 取 Humidity 属性 作为 测试 属性 则 : 
; 00D, 4 4 8 8 2, 4 4 8 8 r 
H (X / Humid j= 24 ( D log T, T log T )4 $4 ( D log T. D log T ) = 0.9183 
如 果 选 取 Windy 属性 作为 测试 属性 则 有 : 
8 4 4 4 6 
H (X /Windy ) = 2 (- E og E log y+ $i (- log 一 log ye 
10 5 5 5 5 
a C o w wo oy 





AK 样本 数据 集合 
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EE 





Outlook 
1 Overcast 
2 Overcast 
3 Overcast 
4 Sunny 
5 Sunny 
6 Rain 
7 Raln 
8 Raln 
9 Rain 
10 Rain 
11 Sunny 
12 Sunny 
13 Overcast 
14 Overcast 
15 Overcast 
16 Overcast 
17 Rain 
18 Rain 
19 Overcast 
20 Overcast 
21 Sunny 
22 Sunny 
23 Sunny 
24 Rain 


可 以 看 出 H (X/Outlook) 最 小 ， 即 有 关 Outlook 的 信息 对 于 分 类 有 最 大 的 帮助 ， 提 供 
属性 作为 测试 属性 。 并 且 也 可 














Temperature Humidity Windy 
Hot High Not 
Hot High Very 
Hot High Medium 
Hot High Not 
Hot High Medium 
Mild High Not 
Mild High Medium 
Hot Normal Not 
Cool Normal Medium 
Hot Normal Very 
Cool Normal Very 
Cool Normal Medium 
Mild High Not 
Mild High Medium 
Cool Normal Not 
Cool Normal Medium 
Mild Normal Not 
Mild Normal Medium 
Mild Normal Medium 
Mild Normal Very 
Mild High Very 
Mild High Medium 
Hot Normal Not 
Mild High Very 




















KS AE, BWI (X; Outlook) 最 大 。 所 以 应 该 选择 Outlook 
以 看 出 H OO =H (X/Windy), BHI (X; Windy) =0， 有 关 Windy 的 信息 不 能 提供 任何 有 关 
分 类 的 信息 。 选 择 Outlook 作为 测试 属性 之 后 将 训练 实例 集 分 为 三 个 子 集 ， 生 成 三 个 叶 结 点 ， 


对 每 个 叶 结 点 依次 利 
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3 上面 过 程 则 生成 图 
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2.4 的 决策 树 。 
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图 7.7 2€ 7.2 所 训练 生成 的 决策 树 

















ID3 算法 有 着 广泛 的 应 用 ， 其 中 比较 著名 的 是 C4.5 系统 。C4.5 的 新 功能 是 它 能 够 将 决策 
树 转 换 为 等 价 的 规则 表示 ， 并 且 C4.5 解决 了 连续 取 值 的 数据 学 习 问 题 。 


7.6.5 连续 性 属性 离散 化 


决策 树 主 要 是 用 来 学 习 离 散 性 变量 作为 的 属性 类 型 的 学 习 方 法 ， 连 续 性 变量 必须 被 离散 
化 才能 够 被 学 习 。 然 而 在 一 些 算法 当中 《例如 C4. 5)， 使 得 被 离散 化 的 连续 性 属性 相对 于 离散 
变量 的 属性 来 说 更 容易 被 选取 。 在 这 些 算法 当中 ， 对 于 某 个 连续 属性 ， 首 先 将 储存 的 训练 实 
例 中 的 不 同 的 值 进 行 排序 ， 然 后 选取 每 一 对 相 邻 的 值 的 中 点 作为 离散 化 时 区 分 不 同属 性 值 的 
标准 。 因 为 这 些 离散 化 后 的 属性 值 只 有 一 个 实例 为 代表 ， 则 这 些 离散 化 后 的 连续 属性 将 被 优 
先 选取 。 

Dougherty 采取 了 一 种 基于 信息 粹 的 过 程 对 连续 型 的 属性 离散 化 。 他 们 在 进行 决策 树 生成 
之 前 对 连续 性 变量 全 局 的 离散 化 ， 而 不 只 是 象 在 C4. 5 中 那样 只 是 基于 某 个 结 点 的 实例 来 进行 
局 部 的 离散 化 。 因 为 局 部 的 数据 过 于 少 而 更 容易 受到 数据 当中 噪音 的 干扰 。 这 种 方法 基于 信 
奶 烂 不 断 递归 地 对 连续 型 属性 的 值 进行 二 分 来 产生 由 多 个 属性 值 的 离散 型 属性 ， 并 且 采 用 基 
于 MDL 标准 停止 标准 。 他 们 发 现 这 种 方法 用 于 C4. 5 并 不 降低 整个 分 类 的 正确 性 ， 反 而 有 时 会 
提高 它 的 正确 性 ， 并 且 它 能 够 减 小 C4. 5 中 树 的 大 小 。 

Auer 提出 了 一 个 用 局 部 的 方法 离散 化 连续 型 变量 的 方法 , 他 的 T2 算法 也 是 将 连续 变量 分 
为 多 个 离散 变量 而 不 只 是 二 分 连续 变量 ， 它 并 不 是 项 上 面 那 样 递归 地 对 连续 型 变量 二 分 ， 而 
是 进行 彻底 的 搜索 以 找 出 一 组 w 个 间隔 来 使 得 在 训练 实例 集 上 错误 率 的 最 小 。w 的 缺 省 值 是 


C, XU C 是 所 要 划分 的 类 的 数目 。 所 以 T2 的 复杂 度 与 C° f^ RER, f£ 是 属性 个 数 。 
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Æ C4. 5 Release8 




















的 连续 型 属性 的 如 果 取 值 过 多 进行 惩罚 Cpenalize). 
实验 数据 表明 ，C4. 5 R8 的 方法 在 大 数据 集合 当中 进行 离散 化 效果 比较 好 ， 而 Dougherty 























的 全 局 离散 化 的 方法 在 小 数据 集合 当 





好 。 
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FH 








7.7 基于 偏 置 变换 的 决策 树 学 习 算 法 BSDT 


构造 好 的 决策 树 的 关键 在 于 说 


的 决策 树 中 ， 树 越 小 则 树 的 预测 
性 。 由 了 
atk. Jat 














选择 依赖 于 各 种 对 例 




















子 子 集 























E 择 好 的 属 ' 
能 力 越 强 。 


构造 最 小 树 问 题 是 个 NP 完全 


要 


问题 ， 





"E 


lo 


般 情况 下 ， 在 众多 能 够 
构造 尽 可 能 小 的 决策 树 ， 关 键 











(R8) 中 Quinlan 提出 了 一 种 局 部 的 、 基 于 MDL 的 方法 来 对 离散 化 后 


比较 好 。T2 在 数据 被 分 为 较 少 的 类 的 时 候 工作 较 


拟 合 给 定 训练 例子 
在 于 选择 恰当 的 属 






































因此 大 量 的 研究 只 能 采取 用 局 





发 式 策略 选择 好 的 


的 杂质 度量 方法 。 杂 质 度量 方法 包括 信息 增益 、 信 息 
































增益 比 、Gini-index、 距 离 度量 、. 度 量 、G 统计 、x ?统计 、P' 零 假设 概率 、 证 据 权 值 、 最 小 
萌 述 长 (MDIL)、 正 交 法 度量 、 相 关 度 和 Relief 等 。 不 同 的 度量 有 不 同 的 效果 ， 因 此 还 出 现 了 单 





元 决策 树 与 多 元 决策 树 的 分 别 。 对 这 些 度量 方法 的 比较 进行 了 较为 深入 的 研究 ， 结 论 却 是 葛 


衷 一 是 的 ， 没 有 一 种 算法 在 解决 属性 选择 、 
机 标准 等 问题 时 占 绝对 优势 。 在 一 定 程度 





明 。 











上 述 问 题 实际 上 就 是 关于 决策 树 学 习 中 











数据 噪声 、 
， 经 验 的 和 直觉 的 东 1 


数据 递增 、 预 剪 校 
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Utgoff 18 HC fi ELLE VAS 
响 假 设 选 择 的 所 有 因素 。 这 些 因 
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序 假设 的 过 程 ， 承 认定 义 的 准则 











量 的 假设 。 反 之 ， 弱 俩 置 允 许 概念 学 习 考 虑 可 
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置 , 是 指 概念 学 习 中 除了 原始 
述 假设 的 语言 ， 程 序 考虑 假设 
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中 共有 重要 作用 。 
训练 例子 集 以 外 影 
的 空间 ， 按 什么 顺 
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概念 学 习 选 择 目标 概念 ， 不 正确 
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习 能 立即 选择 可 用 的 目标 概念 ， 
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偏 置 可 分 为 表示 偏 置 


下 J 
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Egi 






































策 树 学 习 的 偏 置 [199]。 


7.7.1 偏 置 的 形式 化 


f 











hi EE 
当 偏 置 很 弱 且 
与 过 程 偶 


个 相对 较 弱 的 偏 置 支持 下 的 归纳 学 习 方法 ， 我 们 通 } 





有 


^B 


两 个 特点 : 一 是 强 偏 置 将 概念 
日 对 大 量 的 假设 ， 另 一 个 特点 
选择 目标 概念 。 当 偏 置 很 强 


























学 习 集中 于 相对 少 
则 是 正确 偏 置 允 许 





















































上 正确 时 ， 概 念 学 
| 











Ei 











不 正确 时 ， 概 念 学 习 的 任务 
IF ID3 算法 家 族 缺 少 对 背景 


HAS 


过 对 表示 偏 置 及 过 程 偏 
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EE 实现 偏 置 变 换 之 前 ， 我 们 有 必要 对 文 ! 






































定义 7.1 S 是 定义 在 <4, C, F, T, DL] 

















概念 的 集合 ，7T 是 所 有 元 组 数 为 n 的 训练 例子 的 集合 ， 其 














定义 7.2 


个 学 习 算 法 1 定义 了 








的 一 个 搜索 空间 。 其 中 Jedi 


具有 有 限 或 无 限 个 元 素 ， 类 别 向 量 {cr …c 叶 有 有 限 个 元 素 ， 对 于 给 定 的 4 AC, FF 是 所 有 





KE 


涉及 到 的 各 个 基本 概念 予以 形式 化 的 




















fH 
上 分 困难 的 。 
知识 的 支持 ， 是 一 


置 的 变换 ， 强 化 决 














述 。 


向 量 A-1a;, Am} 









































PL 表 示 


个 从 TT 到 的 映射 ， 即 : 


ttteT}— D>f{f eF},lelL 


定义 7.3 Dyxc 是 在 4 XC 








Z 


组 。 设 刀 < 是 在 C 上 的 一 个 概率 
况 下 将 一 随机 属性 赋予 同一 类 





情 








[E 











B 





E 集 的 同一 性 





TA(A), ADEJE A 


个 学 习 算 法 艇 。 


(7.31) 


上 的 一 个 概率 分 布 ; t 是 定义 在 4 XC 上 并 服从 Daxc hI n A76 
分 布 ， 且 
的 概率 。 即 : 


PEZ SK Dc 的 


IA(A,, 4,) = P5, QT, C4, f) = 1p (42, LE LOAT, STMA,A, CAN f EF 
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定义 7.4 假设 目标 概念 为 太 ， 偏 置 的 正确 性 CorrB 可 定义 为 : 
CorrB = 万 (ja) = f(a), f eR Oa eA 
































(7.32) 
定义 7.5 设 | 表示 S 中 元 素 个 数 ， 则 可 定义 偏 嘲 的 强度 SB 为: 
StrB= | 
s 
(7.33) 


定义 7.6 设 Stateo(S)= «4o. C, f, T, >E Statei(S)- <4, C, f, T, 伺 为 搜索 空间 的 两 个 状态 ,， 表 
示 偏 置 变换 BS 定义 为 : 





State,(S) —— State (S) 
FEM 7.7 设 DA 是 在 A EIS PRR Oo, FAAS SE PE IL, /) 是 指 在 给 定 概念 了 
及 DA 的 情况 下 了 及 1 将 一 随机 训练 例子 1 赋予 同一 类 的 概率 。 即 : 
IL(L,,1,) = P, (h(t, f) «(6 f)).teT all eLnOfeF 
(7.34) 





























定义 7.8 1 的 预测 准确 
PA) =P, 


= 
LE 





EPA 定义 为 : 
(fig(a)m cf €F Oterocet 








AxC 


(7.35) 
EM 7.9 W Stateo(9)= «A, C, f. T, l> State (S)\= «A, C, f. T, 7> 为 搜索 空间 的 两 个 状态 ， 过 
程 偏 置 变 换 BS! 定义 为 : 








State (S) —B—» State (S) 
定理 7.1 YEA b EÓQE, U PA(1)) 宇 PA(1;) 成 立时 ， 选 择 六 具有 更 正确 的 偏 置 。 
证 明 ^5 PA(/)) 三 PA(12) 成 立时 , 说 明 由 1 生成 的 分 类 器 能 将 更 多 的 例子 准确 地 分 类 。, 即 : 


B. ip a = Om (Oso (7.36) 
我 们 将 偏 置 正确 性 概念 投射 到 Daxc 分 布 上 以 后 ， 得 到 : 
CorrB = Py. (f(a) - c) 


| 于 目标 概念 在 很 大 程度 上 是 由 学 习 算 法 生成 的 分 类 器 来 具体 体现 的 ， 因 而 偏 置 正确 性 
概念 可 以 改写 为 : 






















































































































































































CorrB = Pp (fiu (a) = c) 
将 算法 LR 代入 上 式 并 结合 (7.36) 式 可 以 得 到 : 
CorrB, = Py (fiw(a)=c)> CorrB, = Py (fiw(a)= c) 
即 ， 选 择 I, 具有 更 正确 的 偏 置 。 结 论 得 证 。 


7.7.2 表示 偏 置 变换 


决策 树 学 习 算 法 是 实际 有 效 的 ， 但 由 于 缺乏 对 背景 知识 的 支持 ， 它 不 能 处 理 各 种 类 型 的 
泛 化 关系 ， 而 对 于 基于 谓词 逻辑 的 归纳 算法 (如 AQI INDUCE 等 )， 这 种 功能 是 最 基本 且 
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与 学 习 过 程 本 身 密 不 可 分 的 。 缺 乏 背景 知识 的 后 果 之 一 就 是 使 决策 树 生成 复杂 化 且 不 易于 为 
领域 专家 所 理解 。 
很 多 系统 都 试图 解决 这 个 问题 。 例 如 : Cendrowska 的 PRISM 算法 ，Gaines 的 INDUCT 
算法 ， 以 及 后 来 Quinlan，Lavrac 等 援引 其 它 技术 将 决策 树 修 改 得 更 易 懂 、 更 精确 ， 但 它们 都 
仅仅 将 注意 力 集中 于 包含 在 历史 数据 中 的 信息 ， 力 图 从 中 挖掘 出 更 多 一 点 的 可 用 资源 。 
我 们 提出 了 一 种 使 基于 表示 偏 置 变换 的 、 能 够 处 理 不 同 泛 化 关系 的 学 习 算 法 的 预 处 理 算 
法 。 该 方法 首先 对 原始 训练 例子 集 进 行 预 处 理 ， 调 用 泛 化 算法 CGAOI， 使 原始 训练 例子 集 达 
到 指定 的 概念 层次 ， 然 后 再 对 原始 训练 例子 集 进行 预 处 理 。 
为 了 实现 提出 的 方法 ， 我 们 首先 引入 了 概念 层次 的 概念 。 

















































































































































































































定义 7. 10 一 个 概念 层次 是 从 一 组 较 低 级 概念 向 高 一 级 概念 的 映射 序列 。 一 棵 概念 层次 树 
则 是 将 这 些 映射 序列 以 树 的 形式 组 织 起 来 。 
定义 7. 11 一 个 原始 训练 集 包 对 应 于 一 个 概念 层次 森林 ={,…, Fo} o AR, A 
i 个 属性 4; 相 对 应 的 一 棵 概念 层次 树 集合 , 1X do. A (Uns T). Ks T, 是 属性 4; 的 
第 7 棵 概念 层次 树 ，1 科 .Sr 。 

定义 7.12 当 属 性 少 不 存在 概念 层次 树 时 ， 尼 = NULL. 

定义 7. 13 一 个 概念 层次 库 D 用 于 保存 历史 概念 层次 树 。 

在 原始 训练 集 的 所 有 属性 中 ， 许 多 属性 都 存在 各 自 固有 的 概念 层次 。 例 如 ， 一 个 商品 的 
产地 在 北京 ， 我 们 就 可 以 说 是 在 中 国 ， 进 而 也 可 以 说 产 自 亚洲 。 这 就 是 一 个 {Product Place 
Beijing, China, Asia} 的 概念 层次 。 

概念 层次 用 于 表达 控制 泛 化 及 特 化 过 程 所 必需 的 背景 知识 。 通 过 将 不 同 层次 的 概念 组 织 
成 一 个 树 形 分 类 ， 概 念 空间 可 以 从 泛 化 到 特 化 的 顺序 偏 序 地 表示 。 最 泛 化 的 概念 就 是 内 涵 为 
空 的 描述 ， 可 用 关键 字 “ANY” 来 表示 ， 而 最 特 化 的 概念 就 是 树 形 分 类 中 的 叶子 。 利 用 一 个 

念 层次 ， 我 们 就 可 以 将 所 发 现 的 规则 表述 为 简洁 明了 、 更 易 懂 、 更 泛 化 及 逻辑 性 更 强 的 形 
Te 


7.7.3 算法 描述 


.分 类 制导 的 面向 属性 算法 CGAOI 

OO meee eee 
了 由 分 类 制导 的 面向 属性 归纳 方法 CGAOI。 该 方法 是 一 种 有 教师 学 习 方 法 。 它 作为 分 类 学 习 
任务 的 先导 ， 对 原始 训练 例子 集 进行 预 处理 ， 并 柔性 地 输出 指定 层次 的 泛 化 关系 。 

该 算法 在 原始 训练 例子 集 的 分 类 特征 的 制导 下 ， 在 实现 面向 属性 归纳 的 基本 泛 化 操作 
如 : 属性 去 除 、 概 念 提升 、 属 性 阔 值 控制 及 频数 传播 等 操作 的 同时 ， 实 现 泛 化 一 致 性 检查 、 
数据 噪声 去 除 、 概 念 层 次 自动 生成 等 操作 。 
算法 7.6 泛 化 算法 CGAOT., 
输入 : 原始 训练 例子 集 E， 属 性 集 4， 当 前 属性 A, 概念 层次 树 7 指定 概念 层次 L 指 
XE Jy TET BUB) Y. 当前 概念 层次 ， 当 前 属性 控制 阔 值 Y. 
输出 : 指定 概念 层次 训练 例子 集 咏 属性 集 4 频数 C。 
(1) 调用 算法 GCCC 进行 泛 化 一 致 性 检查 与 噪声 去 除 ， 返 回 Ret1; 
(2) 如 果 泛 化 一 致 性 检查 失败 ， 则 return -1; 
(3) 在 了 及 工控 制 下 作 概 念 提升 操作 ; 
(4) 属性 去 除 及 频数 传播 操作 ; 
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(5) 返回 
定理 7.2.4 BS =CGAOI 算法 , 则 通过 CGAOI 操作 进行 的 表示 1 





强 且 正 





的 。 











IH] 


证 明 设 变换 前 后 的 属 ， 


StrB,. 





0. 
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fi 





n EL 
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AXE s 
从 四、 外 可 以 证 得 : 通 i 


的 。 














置 并 不 改变 | 




















4 





VELUR 


























2. 预 处 理 算法 PPD 


在 该 算法 中 ， 我 








S BELA 






































SH 


训练 例子 集 £^ 属性 











里 算法 PPD. 




















Y 当前 概念 层次 ; 











输出 :指定 概念 层次 训练 例子 集 E 属性 
FP 的 每 个 属性 As 做 : 
AE E 
则 调用 算法 AGCH 自动 生成 4 的 概念 层次 树 万， 返 
l; Pk 4 无 概念 层次 树 */ 


(1) 
(2) 


(3) 
(4) 


对 属性 集合 4^9 
4; 的 概念 
D F 
Q Retl=-1， 则 转 到 步骤 
如 果 (Y-YoL-1), Wes 
如 果 KFU Lex. 














层次 树 E, 





则 调 月 


Jf ELE EL 
T CGAOI 算法 使 得 A;EAe AWA S54 XC XF XT XL 
StrB,; 之 StrBo. 


门 以 数据 库 中 特定 上 
当前 属性 值 (或 
旦 将 原始 训练 例 
算法 7.7 预 处 3 
输入 : 原始 
指定 属性 控制 阔 值 














pa nmn 


E 























度 定义 可 以 
过 CGAOI 算法 进行 的 表示 4 





EEUU. 


^ BERE 


Ti Ja 


层次 级 别 低 于 当 


子 集 归 约 到 相应 的 


ae 
itt: 








让 
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H. 
13 
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F CGAOI 算法 并 没有 改变 目标 概念 以 及 在 C 的 概率 分 布 ， 因 
到 的 偏 


变换 得 


(£45) 4 更 





EL A 








外 性 、 偏 置 强度 分 别 为 Ao. Az; CorrBo. CorrBi; StrBo、 


此 CGAOI 操作 得 





<ISd=|40 XC XF 











pa mn 


fz 



































1 E 

















的 属性 值 作为 泛 化 过 程 及 特 化 过 程 的 分 界 ， 当 





前 级 别 ) 时 ， 调 








mj 














HBE Y. 

















(QD Ret2=-1， 则 转 到 步骤 (1) ; 


@ Ret2=0， 则 转 到 步 
不 满足 


(5) 








(6) 调 











(7) 
(8) 
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7.7.4 3 








we 





上 述 条 件 

















AZ (KEE CGA0I， 返 


SO); 





汉化 过 程 ; 


次 森林 Fs 概念 层 





变换 得 到 的 偏 置 


是 更 强 且 





正确 




















属性 控 
] 特 化 过 























反之 则 调 














次 库 


回 Ret1; 


回 Ret2; 


/* 失败 ， 则 放弃 汉化 */ 
Le 








DRENI TKK 
用 算法 STCH 将 4; 的 概念 
转 步 又 (1) 。 


过 程 偏 置 变换 


各 种 决策 树 学 习 算 法 各 有 所 长 ,博采众长 








[E 


层次 树 TTE 


BHE 








集 维护 ; 
入 概念 








FE 是 我 们 所 提出 的 





法 的 基本 点 。 同 时 ， 学 习 算 法 及 其 学 习 任务 与 训练 集 的 大 小 、 


杂 的 关系 ， 不 能 用 人 简 和 


pa mu 


VÉ 








基于 1 
































的 控 
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JEP Wp 





1 推理 用 


ASE ESET 


两 级 式 及 多 策略 的 思 














a 


于 解决 从 众多 训 
习 算 法 中 找到 一 个 最 适合 解决 原始 











构造 ， 即 利 月 
的 分 类 规则 。 


Hx 








F 介 标准 不 一 





层次 库 DP, 


维 数 、 
制 分 支 语 句 来 实现 对 最 优 算法 的 选择 。 因 
变换 的 决策 树 学 习 算 法 的 概念 ( 见 图 7.8). 

















基于 1 




















此 ， 





D; 指定 概念 层次 L; 


局 置 变换 的 决策 树 学 习 算 
所 属 领域 等 R 





届 性 有 着 复 
我 们 引入 了 两 级 式 








A 





想 进 行 设 计 的 。 两 级 式 学 习 的 者 
训练 例 





、 适 应 领域 不 一 、 














的 决策 树 学 习 算法 
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次 序 、 




















HEH 


眼 点 在 于 : 








级 的 





E 


子规 模 不 一 的 决策 树 学 
训练 例子 集 的 学 习 算法 ， 第 二 级 的 学 习 任务 用 于 分 类 器 的 
无 规则 的 事例 
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出 决策 树 表示 形式 
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求解 的 一 种 策略 。 这 里 ， 目 标 范例 是 | 
原始 



































基于 范例 推理 是 由 目标 范例 的 提示 而 获得 记忆 ， 









































练 例子 集 ， 我 们 首先 抽取 它 的 检索 信 ， 





























的 源 范 例 ， 并 由 源 范例 来 指导 目标 范例 
各 种 决策 树 算 法 运行 经 典范 例 库 而 生成 的 。 对 一 给 定 














因 元 组 9 作为 检索 信息 3 


过 程 的 相似 度 符合 定义 7.25 中 给 出 的 选 优 指标 5。 


集 间 的 无 颖 连接。 这 种 机 制 是 


关 程 度 ， 其中: wa 是 原始 训练 多 
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多 策略 学 习 体 现在 本 算法 不 














供 了 机 制 。 这 种 机 人 制 保证 了 新 引入 算法 与 原 尘 


























EA. BT 


























定义 7. 14 MARA C= [ 























| 人 机 交互 纳入 接 












































范例 库 中 进行 检索 。 检 索 





局 限于 一 个 学 习 算 法 。 同 时 还 为 引入 新 算法 和 经 典 例 子 集 提 
入 经 典范 例 集 与 原 注册 经 典范 例 
及 经 典范 例 库 维 














护 算法 实现 的 。 





[Or Co T 表示 原 始 训 练 集 的 各 个 属性 与 待 学 习 任务 的 相 
1 子 集 的 属性 个 数 。 





定义 7.15 代价 系数 CH= [Cs Cu] 表示 为 得 到 原始 训练 集 的 各 个 属性 所 付出 的 代价 ; 











中 : 是 原始 训练 例子 集 的 属 必 





EC 


ww ai bbt. com FT BD DL O D D] 
















范例 属性 描述 集 























TCBM 算法 
































原始 训练 例 








图 7.8 BSDT 算法 结构 


定义 7. 16 原始 训练 例子 集 EE 是非 BSDT 算法 构造 的 面向 目标 学 习 任 务 的 训练 例子 集 。 
定义 7.17 一 个 算法 a 是 一 个 在 BSDT 中 注册 的 且 已 被 实验 证 实 可 行 的 决策 树 学 习 算 法 。 
一 个 算法 的 名 字 是 该 算法 的 唯一 标志 。 一 个 算法 集 A 是 在 BSDT 算法 中 注册 的 所 有 算法 a 的 集 


A 
O o 





































































































定义 7.18 算法 索引 表 AI 是 在 BSDT 算法 中 注册 的 所 有 算法 a 的 名 字 的 集合 。 算 法 集 A 与 
算法 索引 表 AP 存在 着 对 应 的 关系 。 

定义 7.19 范例 属性 描述 集 @ 是 一 个 定义 在 经 典范 例 库 上 的 六 元 组 《7,5 S", S, m, Do 
Hop. 7 表示 由 算法 65 处理 的 经 典 训练 例子 集 E 所 属 的 域名 ; 5 表示 EB 的 大 小 ; S RES EH 
SEIN; S 表示 符合 E 且 由 算法 6 生成 决策 树 所 需 的 时 间 ; 表示 该 决策 树 的 错 分 率 ; WW 表示 算 
法 6 的 名 字 。 这 里 WY 作为 范例 库 的 类 别 标 志 。 

定义 7.20 检索 信息 元 组 9 是 一 个 定义 在 原始 训练 例子 集 上 的 三 元 组 《a a, a2. TEP, a 
表示 给 定 的 原始 训练 例子 集 E 所 属 的 域名 ; a 表示 E 的 大 小 ，a; 表 示 EB 的 维 数 。 
定义 7.21 范例 库 CE 是 由 BSDT 算法 生成 的 范例 的 集合 。 它 的 六 个 属性 由 范例 属性 描述 集 
@ 描 述 ， 类 别 站 E 算 法 索引 表 AP; 例子 ce ECE 由 算法 ANA 生成 。 

定义 7.22 RE r Ee 域 名 集合 十。 在 BSDT 中 ，H={1- 农 业 ，2- 工 业 ，3- 商 业 ，4- 教 育 ，5- 
电子 , 6- 物 理 ，7- 化 学 ，8- 数 学 ，9- 医 药 ，10- 其 它 } 。 

定义 7.23 经 典范 例 库 TEB = 例子 索引 表 EI U 经 典范 例 表 TET。 例 子 索引 表 EI 是 在 BSDT 
算法 中 注册 的 所 有 域名 的 集合 ; 经 典范 例 表 TET 是 一 个 以 域名 命名 的 从 某 一 领域 得 到 训 
练 例子 集合 。 

定义 7.24 一 个 选 优 指标 6 是 由 范例 属性 描述 
标准 。 它 由 下 式 确定 ， 

= (a, = 2) (la, - S'|« A) ^ (a; -S"| « A) ^C en < As) 

其 中 , Ao As As 分 别 是 元 组 阔 值 ， 维 数 阔 值 及 树 控 阔 值 ， 在 算法 运行 过 程 中 可 调 。 在 BSDT 
HA, Ae Aor As 的 缺 省 值 分 别 为 (其 中 ，Ti,，Es，Es 分 别 为 经 典范 例 库 中 的 元 组 间隔 、 错 分 率 
及 生成 时 间 的 期 望 值 ): 















































































































































































































































































































































O 与 检索 信息 元 组 6 共同 决定 的 范例 检索 


E d 
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dd 4.59 du “by 


定义 7. 25 一 个 算法 是 最 优 算法 25 BC E ALE TS 且 使 :达到 最 小 的 算法 。 

定义 7. 26 后 台 算 法 处 理 报告 REP 是 一 个 文本 文件 ErrRep. txt. “4 BSDT 在 指定 路 径 找 不 
到 最 优 算法 fT 时 ， 就 会 将 出 错 信息 记录 下 来 ， 通 知 管理 人 员 处 理 。 

定义 7.27 在 BSDT 算法 中 注册 表示 下 列 过 程 : 
(1) 将 一 个 算法 的 名 字 N 存 入 算法 索引 表 AI， 将 算法 本 身 存 放 在 BSDT 指定 路 径 下 ; 
(2) 将 一 个 例子 集 的 名 字 N* 存 入 例子 索引 表 ET[， 将 经 典范 例 表 TET 存放 在 经 典范 例 库 中 。 


7.7.5 基于 偏 置 变换 的 决策 树 学 习 算 法 BSDT 















































































































































BSDT 算法 首先 调用 选 优 算法 SM 求 出 最 优 算法 T。 然 后 就 到 系统 目录 及 当前 工作 目录 
下 去 寻找 该 算法 。 如 果 没 有 找到 就 应 该 从 范例 库 及 算法 索引 表 中 去 掉 它 ， 以 免 引 起 下 一 次 寻 
找 失败 。 

选 优 算法 SM 实际 上 是 一 个 运用 基于 范例 推理 的 过 程 。 对 一 给 定 的 原始 训练 集 ， 首 先 抽 
取出 它 的 检索 信息 元 组 6， 再 到 范例 库 中 查找 出 满足 选 优 指标 6 的 最 优 算法 。 当 范例 库 空 时 或 
SM 算法 失败 时 ， 令 GSD 作为 最 优 算法 的 默认 选择 。 

由 于 在 算法 运行 中 应 减少 不 必要 的 干扰 ，BSDT 日 志 在 此 可 作为 管理 员 对 系统 进行 干预 
的 一 个 手段 。 

算法 7.8 基于 偏 置 变 换 的 决策 树 学 习 算 法 BSDT。 

输入 : 原始 训练 集 ; 

输出 : 目标 知识 库 ; 

(1) 调用 预 处 理 算 法 PPD; 

(2) 调用 选 优 算法 SM 求 出 最 优 算法 TT; 

(3) 在 指定 路 径 上 搜索 算法 ; 

(4) 如 果 算 法 存在 : 

C WHT; 
© 生成 决策 树 and/or 产生 式 规则 集 ; 
© 将 学 习 结 果 处 理 后 存 入 目标 知识 库 。 

(5) 算法 不 存在 : 

O 令 p=3， 调 用 范例 库 维 护 算法 CBM 从 范例 库 及 相应 数据 结构 中 删 去 TT; 
Q 转 (2); 
(6) 填写 BSDT Hh; 



















































































































































































































































































7.7.6 经 典范 例 库 维 护 算法 TCBM 











TCBM 算法 实现 对 经 典范 例 库 的 各 种 操作 ， 如 : 增加 新 的 例子 集 、 例 子 集 版 本 升级 、 删 
除 例子 集 以 及 向 例子 库 的 指定 例子 集中 增加 、 删 除 例子 等 。 只 有 当 有 新 例子 及 例子 集 的 增删 
及 修改 已 有 例子 集 时 才能 激活 该 算法 。 由 于 采取 了 逐 级 激活 的 方式 ，TCBM 算法 在 修改 了 经 
典范 例 库 后 ， 会 自动 调用 在 算法 索引 表 中 的 各 算法 重新 执行 以 构造 与 经 典范 例 库 内 容 一 致 的 
范例 库 ， 而 范例 库 及 相关 数据 结构 的 修改 以 会 直接 影响 最 优 算法 的 选取 。 
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算法 7.9 经 典 例子 库 维 护 算法 TCBM 。 
输入 : 原始 例子 库 、 例 子 索 引 表 ， 例 子 集 S0， 域 名 r ， 维 护 操作 算 子 p 
输出 : 修改 后 例子 库 、 例 子 索 引 表 











(1) 
(2) IF p=1, 
调用 A 


IF p=2, 





























(3) 


IF pl and p>5 THEN 返回 。 
THEN: /* 增加 新 例子 集 */ 
E 算法 增加 新 例子 ; 








THEN: /* 经 典范 例 库 版 本 升级 */ 








O 检查 例子 索引 表 ， 域 名 是否 存 在 ; 


@ 存在 : 


a 从 例子 库 删 除 相应 表 ， 





b 删除 例子 索引 








@ 调用 ANE 算法 引入 新 例 


(4 


WN 


IF p=3, THEN: /* 


表 中 相关 项 ; 
子 集 ; 














例子 集 删 除 */ 








(D 检查 例子 索引 表 ， 域 名 
© 从 库 中 删除 相应 表 ; 

















E 
FEW 











© 从 例子 索引 表 ， 





(5) 








删除 域名 1; 
IF 9 =4, THEN: /* 增加 例子 库 例 子 */ 


O 若 域 名 7 不 在 索引 表 中 ， 则 调 





@ 进行 记录 值 的 适 
det 








存在 ， 否 则 返回 ; 























] ANE 算法 增加 新 域 ; 





当 性 检测 ， 不 适当 的 记录 值 被 舍弃 ， 将 训练 集 SO 依次 存 入 相应 


(6) IF p=5，THEN: /* 删 去 例子 库 例 子 */ 


O FRA 1 PERIK! 








© 删 去 表 中 例子 ; 
(T) Extract (SO, x); 
(8) 存储 例子 ; 

















， 则 返 


[Al ; 





/* 为 经 典 例子 库 生 成 例子 */ 


7.7.7 偏 置 特征 抽取 算法 




















偏 置 ， 也 就 是 候选 算法 的 特征 能 够 帮助 我 们 利 月 








按照 定义 7.19 的 形式 进行 组 织 。 当 经 } 
算法 7.10 偏 置 特征 抽取 算法 
注册 算法 RA， 例 子 集 












































输入 : 经 





例子 库 CEB, 
































范例 库 CB， 操 作 算 子 OP 


输出 : 修改 后 的 CB 
(1) If op=l then 


(2) For 7=1 to maxRA 
(3) For #1 to maxEI 

















ES, 


/* CB 是 空 的 */ 
( If EI = NULL || AI = NULL return; 


(4) For &-1 to Interval do 


























项 ; 
将 数据 项 存 入 CB; } 
(5) Else if op=2 then 














/* 添加 一 个 新 算法 */ 


ww ai bbt. com [1 HB DL O D D] 




















日 选 优 算法 自动 选取 最 优 侦 置 。 这 些 特 征 
例子 库 或 算法 索引 表 发 生变 化 时 ， 该 过 程 即 被 激活 。 




















例子 索引 表 EL MARIK AL, 


{ 用 算法 AI( 力 在 例子 集 EI( 力 上 生成 一 个 分 类 器 ， 并 根据 定义 7.19 生成 一 个 数据 
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(6) { For i-1 to maxEI 


(7) For l to Interval do 
{ 用 算法 RA 在 例子 集 EI( 力 上 生成 一 个 分 类 器 ， 并 根据 定义 7. 19 生成 一 个 数据 项 ; 
将 数据 项 存 入 CB; ) 
(8) Else if op-3 then /* 添加 一 个 新 的 例子 集 */ 
(9) { For El to maxRA 
(10) For l to Interval do 
{ 用 算法 ALCO EHTE ES 上 生成 一 个 分 类 器 ， 并 根据 定义 7.19 生成 一 个 数据 
项 ; 
将 数据 项 存 入 CB; } 
(11) Else if op=4 then /* 删除 一 个 老 的 注册 算法 */ 
从 CB 中 删除 RA 的 相关 项 ; 
(12) Else if op=5 then /* 删除 一 个 老 的 注册 例子 集 */ 
从 CB 中 删除 ES 的 相关 项 ; 
(13) Else return failed; 
根据 CEB 的 大 小 调整 Interval; 


7.7.8 改进 的 决策 树 生 成 算法 GSD 


在 构造 ASF 函数 时 , 我们 用 到 了 代价 系数 Co 及 偏 置 系数 C"， 并 为 它们 建立 了 缺 省 设置 。 

下 面 给 出 了 属性 选择 函数 ASF 的 构造 方法 。 
定义 7.28 5={e … ej 是 原始 训练 例子 的 集合 ，4 ={42 S A EE 的 属性 集 。 其 中 ， 
v 是 最 大 原始 训练 例子 数 ，w 是 的 最 大 属性 数 ，4={[,…， 帮 表示 属性 i 的 v 个 相互 区 别 的 取 
值 




















































































































定义 7.29 E= (le, en}, A= AUM = (Aa, Ant O AS (A, ns Am Amit, RO 
WES] AB se RA FI CGAO DJETT TRUE 8 Jes 3-880 E] UI A TRS EE. Mo, 15 xv; 2x 
«o. 
定义 7.30 A= C= [ C, Ca |" 是 在 CGAOI 算 法 中 得 到 的 传播 频数 。 
定义 7.31 C(O, r 是 原始 训练 例子 集中 个 可 能 的 类 别 。 表示 类 CGE E PH 






















































































的 概率 。 
定义 7.32 在 决策 树 的 生成 过 程 中 ， 每 一 次 面向 属性 的 测试 都 必须 使 属性 选择 函数 ASF 的 
值 达到 最 大 。 




















定义 7. 33” ASF 函数 定义 如 下 : 





ASF (A.) ct f (Aj) * 8(4,) 
h(A,) 

其 中 ，f(4)) 表示 属 性 7 的 效益 ; g (4;)) 表示 属性 7 的 偏 置 值 ， 4 (4;) 表示 属性 7 的 代价 ; 
1<7<k . 
(1) EREET Fg. HU 表示 有 用 信息 ; N 表示 无 用 信息 ; T 表示 总 信息 =U 
+N, 
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d 


(eA) 定义 


(3) A) 定义 为 : 








从 而 得 到 的 ASF 表达 
xt: 





Al = H(T')-H(N’) 


-Ar = HON’) HT) logs (V) lar!) log, S 


T! 
3 N’ U' 
2 E mE T =1- f0 
AI = Gain(A,, Ej = KE) - Ent(A,, E) 
-1-2* 











=]— 
fO ] Enc, 
I(E) =->_P, log, P, P, = °CT, 
Z |E| 
z |E, 
Ent(A,,E) = 2, 1(E,) 
& IE 


fO = 1 a Jeani) 
g(A4) - C^i 


h(A)2 C'i*1 


_ 5 -Gain() b 
ASF() = Ure ee 
C* 41 


我 们 的 决策 树 生 成 算法 GSD 是 Quinlan 的 C4. 5 算法 的 一 个 修改 版 。 修 改 体 现在 输入 及 属性 选 








择 等 两 个 方面 。GSD 的 输入 采用 预 处 理 算 法 PPD 输出 的 指定 概念 层次 的 训练 例子 集 ; 并 用 属性 





= 























选择 函数 ASF 代替 了 C4. 5 的 属性 选择 标准 。 
算法 7.1 决策 树 生 成 算法 GSD. 





输入 : 训练 集 





输出 : 决策 树 ， 规 则 集 














(1) 在 Gain、Gain Ratio 及 ASF 中 选择 出 标准 CR; 


























(2) 本 如 果 所 有 数据 项 属于 同一 类 ， 则 决策 树 是 一 个 标 有 该 类 标志 的 叶子 ; 


(3) 否则 ， 用 标准 

















CR 选取 最 佳 测试 属性 把 数据 项 分 为 子 集 ; 











(D 递归 地 调用 (2) O 过 程 为 每 一 个 子 集 生 成 一 棵 决策 树 ; 





(5) 生成 决策 树 并 转化 为 规则 集 。 


7.7.9 实验 结果 























BSDT 算法 用 到 了 下 列 数据 集 ( 见 表 7. 3) 。 
表 7.3 实验 数据 集 
数据 集 # 训 练 例子 性 数 | # 类 别 数 |# 测 试 集 例 




















b T 
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machine- 


这 些 数 据 集 中 的 一 部 分 来 源 于 UCI 
learning-database) 。 在 测试 数据 集 的 时 候 ， 我 们 采取 了 下 述 措施 : 





breast-cancer 


credit 


genetics 


glass 


heart 

hypo 
letter 

sonar 
soybean 
voting 


diabetes 





测 iX HE 





(ftp://ics. uci. edu/pub/ 














将 没有 给 定 测 试 集 的 数据 集 DS Cun anneal, breast-cancer 等 ) 利用 随机 选取 的 办 法 分 为 




















测试 集 TS 与 学 习 集 LS 并 令 TS = DSX10%; 


206 





e 用 C4.5 算法 在 LS 




















Ls 


EW 

















e 用 BSDT 算 法 的 gain ratio 属性 选取 标准 在 LS 上 月 








角度 Pos 


表 7.4 预测 准确 度 比 较 


Anneal 
breast-cancer 
credit 
genetics 
glass 
heart 
hypo 
letter 


sonar 


soybean 


voting 


OW Oon o0 to WN KR OH ` 


diabetes 




















e 用 BSDT 算法 

TS 上 测试 后 得 到 的 预测 准确 
算法 都 进行 了 15 次 试验 的 平均 值 ， 以 期 得 到 稳定 的 预测 模型 ， 
© 将 Po、Pi 及 P; 的 结果 进行 比较 ， 结 果 见 表 7.4。 


e ^5 























PE Po; 

















EH 10 次 交叉 验证 生成 分 类 器 CO, 在 TS 


95.9+1.6 
76. 13.1 





在 TS 上 测试 后 得 到 的 预测 ;准确 度 Pis 
K) ASF 属性 选取 标准 在 LS 上 用 10 番 交 叉 验 证 生成 分 类 器 C2, 在 


























测试 后 得 到 的 预测 














97.8 土 10.8 
97. 24:2. 5 
89.542. 1 
98.7244. 4 
75. 246.5 
19.833. 7 
92. 73.9 
93. 7-8. 7 
74,7412. 1 
84. 8-76. 5 
95. 9-1. 6 
77.242, 3 


H 10 次 交叉 验证 生成 分 类 器 C1, 


T 
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从 表 7.4 可 以 看 出 : 








预测 准确 





度 都 改善 了 。 






































我 们 在 


BSDT 算法 : 




















种 机 器 学 习 算 法 的 有 效 途 径 








习 算 法 。 





4A 
, 


ELEC A A i E 





























实现 了 一 种 可 以 集成 多 利 

















所 有 的 数据 集 经 BSDT 算法 生成 的 决策 树 分 类 预测 模型 进行 分 类 的 





系数 定义 的 ASF 函数 ， 预 测 准 确 度 得 到 明显 提高 。 
实验 结果 表明 : ASF 函数 与 BSDT 算法 是 行 之 有 效 的 。 




















并 保证 最 佳 的 表示 4 





7.8 ”归纳 学 习 的 计算 理论 


学 习 的 计算 理论 主要 

































































jue, 








J 


里 论 和 Valiant 学 习 











对 于 建立 机 器 学 习 科学 ， 学 习 的 计算 理论 非常 重要 ， 否 则 无 法 识别 学 习 算法 的 应 
也 无 法 分 析 不 同方 法 的 可 学 习性 。 收 敛 
种 令 人 满意 的 学 习 框 架 ， 
的 上 下 文中 ，Gold 引入 收敛 的 概念 ， 有 效 地 处 
段 设 ， 无 须知 道 什 么 时 候 它 是 正确 的 ， 只 要 确 
此 这 种 风范 并 没有 在 实际 学 习 中 得 到 应 
E 算 法 研究 形式 语言 与 其 解释 之 间 的 关系 ， 




















算 理 


框架 。 





论 给 出 


在 形式 语言 学 习 





























的 假设 。 


























学 习 算法 允许 提出 许多 
于 Gold 算法 的 复杂 性 很 高 ， 因 
基于 Gold 学 习 框架 ，Shapiro 提出 了 模型 推 
也 就 是 形式 语言 的 语法 与 语义 之 间 的 关系 。 模 型 论 把 形式 语言 中 的 公式 、 句 子 
解释 一 模型 ， 当 作 数 学 对 象 进行 








性 









































、 可 行 性 和 近似 性 是 本 质问 题 ， 











z 














究 。 


得 到 一 种 理论 输出 [Shapiro 1981]. 





1984 年 Valiant 提出 一 种 新 





概率 的 近似 ， 而 3 



































不 要 求 日 标 概念 精确 
布尔 公式 的 概念 给 出 了 一 些 新 的 结果 。Haussler 应 月 
置 问题 ， 并 给 出 了 样本 复杂 性 

















7.8.1 Gold 学 习 理 论 

















Gold 的 语言 学 习 弄 





LE 论 研究 引入 7 











理 的 理论 研究 起 了 非常 








重要 的 作用 


[Gold 











极限 辨识 把 归纳 


E 理 看 作 一 种 




















的 成 功 标准 。 




















有 的 正确 描述 ， 





那么 在 这 个 实例 序列 的 极限 正在 
EW. 如果 有 限 次 后 MERI 
那么 在 这 个 实例 序列 的 极限 MED 
因为 新 的 数据 与 当前 的 推测 
E 测 多 项 式 序列 的 抽象 ， 即 对 可 鲁 
测 。 假 设 规 定 了 规则 的 有 基体 领 ] 
以 致 于 领域 中 的 每 一 条 规则 在 枚 举 中 有 一 种 或 多 种 











地 修改 它 关 于 RAY 














假设 ， 
枚 举 辨 识 是 第 一 利 








到 发 现 与 迄今 为 止 的 所 有 数据 相 一 致 的 推 





B] di, d» dy +, 





假设 V 是 一 种 归纳 
兄 的 实例 集合 则 愈 来 愈 大 , 形成 区 HEN 








方法 
























































ALAS 
是 否 会 



































理 方法 , 它 企 


1 的 无 限 序列 Eb &% 


地 辨识 P. 注意 


括 合理 的 约束 。 这 方面 


的 早期 成 果 主 要 是 基于 Gold 

















里 了 从 实例 学 习 的 问题 。 





决策 树 学 习 算 法 的 方法 。 它 是 一 种 集成 多 
局 置 与 过 程 侦 置 的 选择 ， 从 而 支持 多 策略 学 








究 学 习 算 法 的 样本 复杂 性 和 计算 复杂 性 。 本 节 重 点 讨论 Gold 学 
开 将 它们 进行 比较 。 
































范围 ， 
它们 要 求学 习 的 计 
























































认 某 点 它 的 计算 是 正确 
用 。 






























































理论 和 它们 的 











Shapiro 模型 推理 算法 只 要 输入 有 限 的 事实 就 可 以 








FE 的 计算 公式 。 


1967]. 


的 学 习 框 架 [Valiant 1984]。 它 仅 要 求 与 目标 概念 具有 
的 辨识 。Kearns、Li、Pitt 和 Valiant 对 可 以 表示 为 
H Valiant 框架 分 析 了 变型 空间 和 归纳 偏 


丙 个 基本 概念 , 即 极限 辨识 和 枚 举 辨识 , 这 对 








=] 


In] 
































期 的 归纳 推 





E 





























图 














Eur £n r- £n 27* Ss 


无 限 过 程 ， 归 纳 推理 方法 的 最 终 或 极限 行为 可 以 看 作 是 它 
E 确 地 描述 未 知 规则 R 假设 MERÍT, 
…。 如 果 存 在 某 个 数 m 使 得 Bin 是 





地 辨识 Ro WN 可 以 看 作对 未 知 规则 〖 学 习 愈 来 愈 多 ,成功 

















上 修改 它 的 


EW, 最 后 











M 不 能 确 


的 


定 它 是 否 会 收敛 到 








E 测 就 是 R BIER 








描述 ， 























个 正 


的 


























发 生 矛盾 并 不 知道 。 
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EE 的 规则 空间 进行 系统 











IH] 





搜索 ， 
成 ， 有 述 枚 举 ， 
述 。 给 定 一 条 规则 的 
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某 个 实例 





展 合 ， 枚 举 辩 识 方法 将 通过 这 个 表 ， 找 到 第 一 个 描述 gd， 即 与 给 定 的 实例 相 容 ， 那 
么 推测 为 gd/。 这 种 方法 不 能 确定 是 否 会 达到 正确 的 极限 辨识 。 如 果实 例 表 示 和 相 容 关系 满足 











































































































下 面 两 个 条 件 ， 那 么 枚 举 方法 保证 极限 辨识 该 领域 中 的 全 部 规则 : 





(1) 一 个 正确 


























段 设 总 是 与 给 定 的 实例 相 容 。 





(2) 任何 不 正确 的 假设 与 实例 足够 大 的 集合 或 与 全 部 集合 不 相 容 。 
为 了 枚 举 方法 是 可 计算 的 ， 枚 举 qd，gs，0%，，… 必 须 是 可 计算 的 ， 它 必须 能 够 计算 给 定 
的 描述 与 给 定 的 实例 集合 是 相 容 的 。 


算法 7.12 
输入 : 
































枚 举 辨识 算法 





“一 组 表达 式 的 集合 E= e, ez 


。 论 示 (oracle) TE 提供 足够 的 目标 实例 集 。 





”排序 信息 的 论 示 LE。 


输出 : 


一 系列 假设 断言 H Ho, 


Whe: 





(1) 初始 化 ，7 一 1; 
(2) examples — emptyset; 


(3) Loop: 


3.1 调 月 
3.2 While 


(4) 输 出 Ojo 














…， 每 个 假设 及 都 在 中 ， 并 与 第 了 个 实例 一 致 。 


HTEO, example 加 到 集合 examples; 
LE(e, tx) = no, +x, 或 者 








LE (e; —) = yes， 对 反例 集 - 马 


Tops 


7.8.2 模型 推理 系统 














设 ， 














其 中 


言 LAMBS Lio RINI L 的 未 知 模型 V 给 定 一 种 处 理 机 制 oracle。 模 型 推理 问题 是 寻 


进行 试验 ， 试 图 















































模型 推理 问题 是 科学 家 所 面临 的 问题 抽象 ， 他 们 在 具有 固定 概念 框架 的 某 种 领域 里 工作 ， 














它们 包含 全 部 正 胡 









































找到 一 种 理论 可 以 解释 他 们 的 结果 。 在 这 种 抽象 中 研究 的 领域 是 对 给 定 的 一 
阶 语言 L 某 种 未 知 模型 I 的 领域 ， 实 验 是 检测 MB 过 语 名 的 真 值 ， 目 标 是 寻找 一 组 正确 假 
外 的 可 测试 的 句子 。 















































ZL 语句 分 成 两 个 子 集 观测 语言 和 假设 语言 LEX 





























a 
是 空 语 句 。 


E€El,chcl 








那么 模型 推理 问题 可 以 定义 如 下 : 假设 给 定 一 阶 语言 过 和 两 个 子 集 : 观测 语 











R V 的 一 种 有 限 的 L — 完备 公理 化 。 





求解 模型 




















# 理 问题 的 算法 称 为 模型 
























































E 理 算法 。 模 型 MITHORSIE T ICE Fi, Fo Fs os 




















其 中 RT WW 的 事实 ，Z, 的 每 个 语句 a 发 生 在 事实 Fi = <a,V>,7> 0 。 模 型 推理 算法 一 次 
读 入 给 定 观 测 语言 Z 的 模型 的 一 种 枚 举 ， 一 个 事实 ， 产 生 假设 语言 4 的 语句 的 有 限 集 称 为 算 


法 的 
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算法 7.13 


























任 测 。 一 种 枚 举 模 型 推理 算法 如 下 。 




















枚 举 模型 推理 算法 
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h 是 整个 递归 函数 。 














WK Staise A Í Fy Strue AU, k 为 0。 
repeat 
读 入 下 一 个 事实 M =<a, >, 
ca 加 到 du 


while A | a € Sii LAF T. Fn Q 





或 有 一 个 ou € Sas DEF Tk anti) Qi 


k= ktl, 
输出 Tro 


forever 





do 





上 而 算法 中 T Fa 表示 在 推导 PRDF nN, 假设 语句 了 可 以 





表示 在 推导 nubi snm 
明 这 种 算法 是 极限 辨识 。 


H 











7.8.3 Valiant 学 习 理 论 





Valiant 认为 一 个 学 习 机 必须 具备 下 列 愧 





这 种 算法 功能 强 且 


d, Bitit 7 不 能 














导出 w。T ana 



































| 灵活， 可 以 从 事实 推出 理论 ， 


H 











Eha. HER AREY. Shapiro 证 




















AE 


Em: 





种 递增 算法 。 


(1) 机 器 能 够 证 明 地 学 习 所 有 类 的 概念 。 更 进一步 ， 这 些 类 可 以 特征 化 。 














(2) 对 于 通用 入 


I 识 概念 类 是 合 








适 的 和 不 平常 的 。 


(3) 机 器 演绎 所 希望 的 程序 的 计算 过 程 要 求 在 可 行 的 步 数 内 。 


学 习 机 由 学 习 协 议和 演绎 过 程 纪 
一 种 机 制 ， 学 习 概念 的 正确 识别 算法 是 演 
能 的 学 习 协 议 ， 使 用 这 种 协议 研究 概念 类 
许 提供 两 类 信息 。 第 一 种 是 学 习 者 对 典型 
























































数据 


ZEN. MJ SORE, f 


昌 成 。 学 习 协 议 规 定 从 外 部 获得 信息 的 方法 。 





演 




















究 学 习 的 方法 是 

















， 识 别 程序 可 以 在 多 项 式 时 间 内 演绎 。 
型 数据 是 概念 的 正 例 。 

















的 访问 ， 这 些 : 




















Do Hj 
地 说 ， 假 设 这 些 正 例 本 质 上 有 一 种 任意 确 




















定 的 概率 分 布 。 调 用 

















程 











的 正 例 。 产 生 不 同 例子 的 相对 概率 是 分 布 























的 版 本 中 ， 当 





* 





定 








IH] 


当 提交 数据 时 ， 它 将 告诉 学 习 该 数据 是 否 是 概念 的 











的 。 第 二 个 可 用 的 信 ， 








正 例 示 。 


























ast 














rE. Valiant 学 习 


概念 描述 与 目标 概念 有 一 个 小 的 偏差 。， 


























来 评测 : 
diff 5(e,,6,) = Dx 
xe X ,ci(x)*e5 (x) 
根据 协议 ， 一 个 概念 类 C 是 可 学 习 的 当 且 





表示 c e CAI D, 





() 执行 时 间 是 与 —, — c 数目 和 其 它 相关 参数 有 关 的 多 项 式 。 
































Ef 





切 





序 EXAMPLES 产生 一 种 这 样 
息 源 是 ORACLE。 在 最 基本 





























mm Al 
b E 


) 


MA, 


MS 




















学 习 算 法 的 一 个 输入 参数 。 











二 





























种 算法 A, f 
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假设 了 是 实例 空间 ， 一 个 概念 是 了 的 一 个 子 集 。 如 果实 例 在 概念 中 则 为 正 例 ， 否 则 为 反 
网。 概念 表示 是 一 种 概念 的 描述 ， 概 念 类 是 一 组 概念 表示 。 学 习 模型 是 概念 类 的 有 效 的 可 学 





理论 仅 要 求 对 目标 概念 的 很 好 近似 具有 极 高 的 概率 。 允 许 学 习 者 产生 的 
首 且 ， 人 允许 学 习 者 
失败 的 概率 为 5 , 这 也 是 一 个 输入 参数 。 两 种 概念 之 间 的 差别 采用 在 实例 空间 





了 的 分 布 概率 D 


(7. 37) 


j 协 议 ， 对 所 有 的 目标 概念 
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(2) 输出 C 中 的 概念 c 具有 概率 1-6, 








diff»(c, c°) <e 

Valiant 学 习 理 论 中 ， 有 两 种 学 习 复 杂 性 测度 。 一 种 是 样本 复杂 性 。 这 是 随机 实例 的 数 
目 ， 用 以 产生 具有 高 的 概率 和 小 的 误差 。 第 二 种 性 能 测度 是 计算 复杂 性 ， 定 义 为 最 坏 情况 下 
以 给 定数 目的 样本 产生 假设 所 要 求 的 计算 时 间 。 

设 /是 学 习 算 法 ，C 是 例 示 空 间 了 上 的 一 类 目标 概念 .对 于 任意 的 0 €, 60, S7 (6,0) 









































表示 最 小 的 样本 数 使 任意 目标 概念 ce CT 上 任意 分 布 ， 给 定 mt c 的 随机 样本 ，Z 产生 





一 个 假设 ， 其 概率 至 少 为 1- 6, 误差 最 大 为 。 (2,O) 称 为 目标 类 c 的 /样本 复杂 性 。 








下 面 我 们 讨论 两 种 学 习 算 法 的 样本 复杂 性 。 

1. 学 习 合 取 概念 的 分 类 算法 

该 算法 的 内 容 如 下 : 

(1) 对 于 给 定 的 样本 找 出 每 个 属性 最 小 的 主 原 子 。 这 些 原 子 合 取 形 成 假设 Ao 

(2) WR A 中 不 包含 反例 ， 那 么 返回 六 ， 和 否则 得 到 结果 ， 认 为 样本 与 任何 纯 合 取 概 念 不 
一 人 


Haussler 分 析 这 种 算法 ， 得 出 其 样本 复杂 性 S7 (2,6) 29 







































































Ci (log) -n)/e € S (e,0) € C, (los) + eee ie (7. 38) 
€ 


其 中 C，C 是 正 的 常数 。 
2. 学 习 纯 合 取 概念 的 贪 禁 算法 
算法 7.14 学 习 纯 合 取 概念 的 贪 梦 算法 
(1) 对 于 给 定 的 样本 找 出 每 个 属性 最 小 的 主 原子 。 
(2) 开始 纯 合 取 假设 2 为 室 ， 当 样本 中 有 反例 时 则 做 
2.1 在 所 有 属性 中 ， 找 到 最 小 的 主 原 子 ， 它 删除 最 多 的 反例 ， 把 它 加 到 A, 
如 果 没 有 最 小 主 原子 可 以 删除 任何 反例 ， 则 循环 结束 。 
2. 2 从 样本 中 去 掉 已 删除 的 反例 。 
(3) 如 果 没 有 反例 则 返回 6， 否则 报告 样本 与 任何 纯 合 取 概念 不 一 致 。 
Haussler 在 文章 [Haussler 1988a] 中 详细 讨论 了 该 算法 的 样本 复杂 性 问题 ， 并 给 出 如 


下 结果 : 






















































































E (lox) + slog(“))/é € S (e,6)« C dog) t sdog e (7. 39) 
s E 


其 中 G C 是 正常 数 ， s 为 纯 合 取 概 念 中 最 大 的 原子 数 。 
由 上 看 出 ，Valiant 学 习 理论 ， 仪 要 求学 习 算法 产生 的 假设 能 以 高 的 概率 很 好 接近 目标 
概念 ， 并 不 要 求 精确 地 辨识 目标 概念 。 这 种 学 习 理论 是 “几乎 大 体 正确 ”辨识 ,有 时 简称 为 


PAC (Probably Approximately Correct) 理 论 。Valiant 学 习 理 论 比 Gold 学 习 理 论 更 有 实际 
TV 
意义 。 


















































































































































习题 





l. 何谓 归纳 学 习 ， 其 主要 特点 是 什么 ? 
2. 通过 实例 , 说 明 选 择 型 和 构造 型 泛 化 规则 的 用 途 。 
3. 什么 是 决策 树 学 习 中 的 偏 置 问题 ， 简 述 几 种 偏 置 学 习 算法 。 
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10. 


何谓 假设 空间 ? 假设 空间 中 上 


AQ 学习 方 法 遵从 的 一 般 归 纳 推理 











空间 的 过 程 ? 











各 假设 间 存 在 什么 关系 ? 


























TS 











结合 规则 空间 排序 示意 图 ， 描 述 变型 空间 方法 的 基本 思想 。 




















给 出 候选 项 删除 算法 用 于 下 丈 
正 实例 : — a) object(red, round, apple) 








| 数据 集 的 过 程 : 











b) object(green, round, mango) 
FASEB: a) object(red, large, banana) 


b) object(green, round, guava) 
















































































阐述 决策 树 学 习 方 法 及 其 适用 场合 。 





















































在 构造 决策 树 的 过 程 中 ， 测 试 属性 的 选取 采用 什么 原则 ?如 何 实现 ? 
叙述 ID3 算法 的 基本 思想 和 建树 步骤 。 
给 定 下 面 的 数据 ， 回 答 问 题 。 
StudiedHard HoursSelptBefore Breakfast GotA 
No 5 Eggs No 
No 9 Eggs No 
Yes 6 Eggs No 
No 6 Bagel No 
Yes 9 Bagel Yes 
Yes 8 Eggs Yes 
Yes 8 Cereal Yes 
Yes 6 Cereal Yes 
(12. GotA Maat A e rb? 























(2) ”决策 树 算法 (ID3) 会 选择 哪个 属性 作为 根 结 点 ? 


(3) ”构造 该 决策 树 。 











11. C4.5 算法 对 IDS 算法 的 改进 体现 在 哪些 方面 。 
何谓 学 习 算法 的 样本 复杂 性 和 计算 复杂 性 ? 
13. 为 什么 Valiant 学 习 理 论 比 Gold 学 习 理 论 更 有 实际 意义 ? 


12. 
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模式 是 什么 样 的 ? 为 什么 说 AQ 学习 的 过 程 就 是 搜索 假设 
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BIE ” 文 持 问 量 机 


Vapnik 等 人 从 20 世纪 60 年 代 开 始 就 研究 有 限 样 本 的 机 器 学 习 问 题 。 经 过 几 十 年 的 研究 ， 
到 90 年 代 中 期 终于 形成 了 一 个 较 完 整 的 理论 体系 ， 即 统计 学 习 理 论 [Vapnik 1995]。 近 几 年 来 ， 
在 统计 学 习 理 论 的 基础 上 又 发 展 出 一 种 新 的 机 器 学 习 方法 ， 即 文 持 向 量 机 〈Support Vector 
Machine, SVM)。 文 持 问 量 机 是 建立 在 计算 学 习 理 论 的 结构 风险 最 小 化 原则 之 上 ， 其 主要 思想 
是 针对 两 类 分 类 问题 ， 在 高 维 空间 中 寻找 一 个 超 平面 作为 两 类 的 分 割 ， 以 保证 最 小 的 分 类 错 
误 率 [Vapnik 1997]. SVM 一 个 重要 的 优点 是 可 以 处 理 线性 不 可 分 的 情 ; 


8.1 统计 学 习 问 题 
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8.1.1 经 验 风 险 





学 习 的 目的 是 根据 给 定 的 训练 样本 求 系统 输入 输出 之 间 的 依赖 关系 。 学 习 问 题 可 以 一 般 
地 表示 为 变量 y 与 x 之 间 存 在 的 未 知 依赖 关系 ， 即 遵循 某 一 未 知 的 联合 概率 FQ,y)。 机 器 学 习 
问题 就 是 根据 n 个 独立 同 分 布 观测 样本 : 












































Gy) (x23), (Ys) (8.1) 
在 一 组 函数 {fx,w 六 中 ， 求 一 个 最 优 的 函数 fx,wo)， 对 依赖 关系 进行 估计 ， 使 期 望 风 险 
R(w)- f L(yf(x,w))d F(x,y), (8. 2) 





ip. HB. faw EET R RAR, w AR MBB. few) Uo LAAT ES IUS 
Liv, fC, w)) A BFH fc w)ost y 进行 预测 而 造成 的 损失 。 不 同类 型 的 学 习 问 题 有 不 同形 式 的 损 
失 函 数 。 

在 传统 的 学 习 方 法 中 ， 采 用 了 所 谓 的 经 验 风 险 最 小 化 Empirical Risk Minimization, ERM) 
准则 ， 即 用 样本 定义 经 验 风 险 
























































Remp(w) = DX Qr, w)) (8.3) 

















机 器 学 习 就 是 要 设计 学 习 算 法 使 Romplw) 最 小 化 ,作为 对 (8.2) 式 的 估计 。 





8.1.2 VC 维 














统计 学 习 理 论 是 关于 小 样本 进行 归纳 学 习 的 理论 。 其 中 一 个 重要 的 概念 是 VC UE 
(Vapnik-Chervonenkis Dimension)。 模 式 识别 方法 中 VC 维 的 直观 定义 是 : 对 一 个 指示 函数 集 ， 
如 果 存 在 h 个 样本 能 够 被 函数 集 里 的 函数 按照 所 有 可 能 的 2 种 形式 分 开 ， 则 称 函 数 集 能 够 把 
h 个 样本 打 散 。 函 数 集 的 VC 维 就 是 它 能 打 散 的 最 大 样本 数目 h。 若 对 任意 数目 的 样本 都 有 函 
数 能 将 它们 打 散 ， 则 函数 集 的 VC 维 是 无 穷 大 。 有 界 实 函数 的 VC 维 可 以 通过 用 一 定 的 阔 值 将 
它 转 化 成 指示 函数 来 定义 。 

VC 维 反 映 了 函数 集 的 学 习 能 力 。 一 上 般 而 言 ，VC 维 越 大 则 学 习 机 器 越 复杂 ， 学 习 容 量 就 
越 大 。 目 前 尚 没有 通用 的 关于 任意 函数 集 VC 维 计算 的 理论 ,只 对 一 些 特殊 的 函数 集 知道 其 
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数 维 。 例 如 在 n 维 实数 空间 中 线性 分 类 器 和 线性 实 函数 的 VC 维 是 n+t1， 而 f(x,Q)=sin(Qx) 的 
VC 维 则 为 无 穷 大 。 如 何 用 理论 或 实验 的 方法 计算 其 VC 维 是 当前 统计 学 习 理 论 中 有 待 研究 的 
一 个 问题 。 



























































8.2 学 习 过 程 的 一 致 性 


8.2.1 学 习 一 致 性 的 经 典 定义 


为 了 从 有 限 的 观察 中 构造 学 习 算法 ， 我 们 需要 一 种 渐 近 理论 ， 刻 画 学 习 过 程 一 致 性 的 必 
要 和 充分 条 件 。 
定义 8.1 经 验 风险 最 小 一 致 性 原理 


对 于 指示 函数 集 L(y,w) 和 概率 分 布 函数 F(y), 如果 下 面 两 个 序列 概率 地 收敛 到 同一 极限 
〈 见 图 8.1)， 则 称 为 经 验 风 险 最 小 一 致 性 : 
























































P 
R(w,) > inf R(w) (8.4) 
P 
Ras (w,) > inf R(w) (8.5) 











换 名 话说， 如 果 经 验 风险 最 小 化 方法 是 一 致 性 ， 那 么 它 必 须 提 供 一 个 函数 序列 了 上 (WwW) ) ， 


/=1,2,…， 使 得 期 望 风险 和 经 验 风险 收敛 到 一 个 可 能 最 小 的 风险 值 。(8.4) 式 判 定 风险 收敛 到 最 
好 的 可 能 值 。(8.5)〉 式 人 们 可 以 根据 经 验 风险 判定 估计 风险 可 能 的 最 小 值 。 
































Inf R(w) 


Remp(W1) 





图 8.1 学习 过 程 一 致 性 





8.2.2 ”学 习 理 论 的 重要 定理 
































Vapnik 和 Chervonenkis 于 1989 年 提出 了 学 习 理 论 的 重要 定理 如 下 : 
定理 8.1 设 L(y,w),w eA 是 满足 下 列 条 件 的 函数 集 
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A< [1G. w)dF(y) € B (4< R(w) < B). (8.6) 





那么 对 于 经 验 风险 最 小 是 一 致 的 ， 在 下 面 情 况 下 : 
lim Pisup R(w) - R,,,,(w)) > €} 20, Ve » 0. (8.7) 
MP weA 


emp 


AERE Ron (W) 在 整个 函数 集 L(y,w),w e A E SU BSE fs AUB R(w)。 我 们 称 这 类 
一 致 性 收敛 为 单 侧 一 致 性 收敛 。 























8.2.3 VC J 











定义 82 W ASL(y,w)S B,we 人 A 是 界限 损耗 函数 集 。 使 用 这 个 函数 集 和 训练 集 





21,…21， 可 以 构造 下 列 7 维 向 量 : 


q(w) = (L(z,, w),:-: L(z;, )), wea. (8.8) 


















































这 个 向 量 集 属于 7 维 立 方 体 , 并 且 在 品质 C. 上 具有 有 限 最 小 e 网 格 。 设 N = N^(e;zi,…,2) 是 
向 量 集 qw), weA 最 小 e 网 格 元 素 的 数目 。 
注意 ，N^(s;z1,…,2)) 是 随机 变量 ， 因 为 它 是 使 用 随机 向 量 z,.…,zi 构造 的 。 随 机 值 















































iul 
a 





N’ (ezez): 的 对 数 


H^ (e,z) = ln Nî (E;Z Z) 





BEE E PR BLE A < L(y, w) € B, w € 人 对 于 训练 样本 z.…,zi BEL VC H o BEAL VC RIR MEE: 

















H^ (g;l) = EH“ (e;z,,--,z,) 















































被 称 作 函数 集 4< L(y,w) < B, w e 人 对 于 训练 样本 数 1 I] VC. XB, ER Ae RUN SE 
P. ema 
定理 8.2” 双 侧 一 致 收敛 的 必要 和 充分 条 件 是 下 式 成 立 : 
A 
lim 9 -0, ve>0 (8.9) 


换 句 话说 ，VC 55 B5 EAE BEDULSCROS JR f Jl] 8 0。 
推论 8.1 在 指示 函数 集 L(y,w),we A 一 定 的 可 测 条 件 下 , 双 侧 一 致 收敛 的 必要 和 充分 
条 件 是 : 
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它 是 (8.9) 式 的 特例 。 
定理 8.3 ”对 于 整个 界限 函数 集 L(y,w),w ee 人 ， 为 了 使 经 验方 法 单 侧 一 致 收敛 到 它们 的 





























期 望 值 ， 其 必要 和 充分 的 条 件 是 对 于 任何 正 的 5、n 和 sg， 存在 函数 集 L (y,w ),w e A 满足 









































L(y,w)-L'(y,w ) > 0, vy, 


" * (8.10) 
[Low-E y, w yaFo) s ô. 


TERA, D(y,w')w eA We W FERRI: 








" 
lim < (8.10) 

在 进行 学 习 理 论 研 究 中 ， 可 以 分 为 三 个 里 程 碑 ， 即 依次 根据 以 下 三 种 方法 来 定义 经 验 风 

险 最 小 化 原理 的 一 致 性 的 充分 条 件 : 

(1) 运用 VC oes XZ: 


A 
CLARO, (8.11) 




























































































(2) EKRE: 


-0 (8.12) 














其 中 退火 VC ARS 
Hot) = In EN^(z ;*2,). 
(3) 运用 增长 函数 来 定义 : 
A 
Gd (8.13) 


其 中 增长 函数 为 
G^ (I) =In sup N^(z ,--,z,). 


Z,'sZn 


8.3 结构 风险 最 小 归纳 原理 








统计 学 习 理 论 系统 地 研究 了 对 于 各 种 类 型 的 函数 集 、 经 验 风险 和 实际 风险 之 间 的 关系 ， 
即 泛 化 的 界限 [Vapnik 1995]。 关 于 两 类 分 类 问题 有 如 下 结论 : 对 指示 函数 集中 的 所 有 函数 CRI 
括 使 经 验 风险 最 小 的 函数 ), 经 验 风险 Remp(w) ASE Bas RUE Rhw) 之 间 以 至 少 1-m 的 概率 满足 如 下 
的 关系 [Burges 98]: 
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RW) € R,, Q0) 4 [h(InQ1 h) : 1) - In(j/4) 















































其 中 n 是 函数 集 的 VC HE, 1 是 样本 数 ，n 是 满足 0 < 7 < 1 的 参数 。 


(8.14) 


由 此 可 见 , 统计 学 习 的 实际 风险 RR(w) 由 两 部 分 组 成 : 一 是 经 验 风险 (训练 误差 ) R,, (W), 


男 一 部 分 称 为 置信 和 界限 (VC confidence)。 和 置信 和 界限 反映 了 真实 风险 和 经 验 风 险 差 值 的 上 确 界 ， 
反映 了 结构 复杂 所 带 来 的 风险 , 它 和 学 习 机 器 的 VC 维 及 及 训练 样本 数 1 有关。(8.14) 式 可 以 




















简单 地 表示 为 : 


R(w) <R (w) + O(h/1) 


emp 




























































































越 大 。 



































i 





























VC 维 无 穷 大 时 ， 这 个 界限 就 不 再 成 立 。 
































定 是 


(8.15) 


(8.14) 式 右 端 第 二 项 可 知 , (A / T) 随 有 加 大 而 增长 。 因 此 ， 在 有 限 训练 样本 下 ， 学 习 机 器 的 
复杂 性 越 高 ，VC 维 越 高 ， 则 置信 和 界限 越 大 ， 就 会 导致 真实 风险 与 经 验 风险 之 间 的 可 能 的 差别 


请 注意 ， 这 里 的 泛 化 界限 是 对 于 最 坏 情况 的 结论 。 在 很 多 情况 下 是 较 松 的 ， 尤 其 当 VC 
维 较 高 时 更 是 如 此 。 文 献 [Burges 1998] 46E, “4h/1>0.37 时 ， 这 个 界限 肯 


松弛 的 。 当 





为 了 构造 适合 于 对 小 样本 学 习 的 归纳 学 习 原 理 ， 可 以 通过 控制 学 习 机 器 的 泛 化 能 力 来 达 




















到 此 目的 。 对 于 完全 有 界 非 负 函数 ，0 科 L(z, mW SB, wEA (AHF 




















n 的 概率 满足 以 下 不 等 式 ， 


Be 4R (w) 
R(w,)<R w)+—(1+,/1+—" *), 
( 1) emp ( ) 2 ( Be ) 


其 中 ， 对 于 无 界限 函数 集合 ， 学 习 机 器 的 泛 化 能 力 的 界限 是 
Romp (w) 
(— a(p)e e), 


_ ft Pah 
0 


In N -lny 
l 











R(w,) < 


其 中 ， 
E€=2 




















象 参 数 集合 ) ， 
(8. 15) 
(8. 16) 


以 至 少 1- 


运用 以 上 的 公式 可 以 控制 基于 固定 数目 的 经 验 样 本 之 上 的 风险 函数 的 最 小 化 的 过 程 。 控 











制 最 小 化 过 程 的 有 几 种 方法 。 一 是 最 小 化 经 验 风险 。 根 据 上 面 的 公式 可 
界 随 着 经 验 风险 的 值 的 减少 而 减少 。 二 是 最 小 化 (8. 15) XH 




















与 VC 维 作为 控制 变量 。 后 者 适合 于 样本 数 较 小 的 情况 。 

















HAAR L (z, m) 具有 嵌 套 函数 子 集 9 = {L(z,w),w E€ A 人} 的 结构 组 成 ,如 





Diese, Gees, 
其 中 结构 元 素 满足 以 下 性 质 : 
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(8. 17) 





以 看 出 ， 当 风险 的 上 
右边 的 第 二 项 ， 将 样本 的 数目 








图 8. 2 所 示 





























(1) 每 个 函数 集 S 的 拥有 一 个 有 限 的 VC 维 he; 
hi < he < gery xh, d 
(2) 结构 中 的 任何 元 素 Sk 包含 性 质 : 
整个 界限 函数 集 满足 


0 «x L(zw) x Bk; a€Ak 


或 者 对 于 某 种 (p, v0, PBA PIAR: 





(人 GWAE)” 
u S$ 
S | L(z, w)dF(z) 


我 们 称 这 种 结构 为 可 同 伦 结构 。 


p>2 (8. 18) 











«| 8.2. 函数 撕 套 子 集 构成 的 函数 集结 构 

















为 了 选择 合适 的 Sk 作为 学 习 函 数 ， 可 以 将 CB. 14) 式 右边 划分 为 两 个 部 分 ， 左 边 项 为 经 
验 风险 ;右边 项 为 置信 区 。 如 果 给 定 样本 数目 7， 那么， 随 着 VC 维 数目 的 增加 ， 经 验 风险 
逐渐 变 小 ， 而 署 信 区 逐渐 递增 。 

如 图 8. 3 所 示 , 综合 考虑 经 验 风险 与 置信 区 的 变化 ,可 以 求 得 最 小 的 风险 边界 ， 它 所 对 应 
的 函数 集 的 中 间 子 集 S' 可 以 作为 具有 最 佳 泛 化 能 力 的 函数 集合 。 
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Z] 8.3 结构 风险 最 小 归 








8.4 支持 向 量 机 


文 持 向 量 机 (Support Vector Machine) 是 近 几 年 发 











分 类 方面 共有 良好 的 性 能 。 


8.4.1 


假设 存在 训练 术 
在 线性 可 分 的 情况 下 就 会 有 


(w 
H "m, “ 

















是 超 平面 的 法 线 方向 ， 














线性 可 分 








ox) *b-0 


E. 
”是 向 量 点 积 。 分 


wex,+b>0, 


wex, +b<0, 

















类 如 下 : 


对 于 yr 


对 于 yal 


























如 果 训 练 数据 可 以 无 


ZANE 
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E 离 最 大 则 称 这 个 








XR 





风险 边界 


置信 

















经 验 风险 


纳 原理 图 








PA Cor cw Oy xER, yE G1 AL TAA 
个 超 平面 使 得 这 两 类 样本 完全 分 开 。 











展 起 来 的 新 型 的 通 


区 























该 超 平面 





为 单位 法 向 量 ， 其 中 | 是 欧 氏 模 函数 。 





F 面 为 最 优 超 平面 “如 











图 8.4 所 示 )。 
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述 为 : 


用 知识 发 现 方法 ， 在 





(8. 19) 





EAL, n uf ASE, 








误差 地 被 划分 ， 以 及 每 一 类 数据 与 超 平面 距离 最 近 的 向 量 


H 





与 超 





面 



































8.4 最 优 超 平面 














在 线性 可 分 情况 下 ,求解 最 优 超 平面 ， 可 以 看 成 解 二 次 型 规划 的 问题 。 对 于 给 定 的 训练 样本 ， 
找到 权 值 w 和 偏 移 b 的 最 优 值 ， 使 得 权 值 代价 函数 最 小 化 : 





















































mino) =f (820) 
满足 约束 条 件 : 
y(wex,+b)—-120, i=1,2,---,/ (8.21) 

















优化 函数 @(w) 为 二 次 型 , 约束 条 件 是 线性 的 ， 因此 是 个 典型 的 二 次 规划 问题 ， 可 由 Lagrange 
乘 子 法 求解 。 引 入 Lagrange RT æ, 20,1 =1,2,---,/: 











iero he a {y (x, ew b) - D) (8.22) 
2 
i=] 

















XX LL 的 极 值 点 为 鞍点 ,可 取 工 对 w RI 的 最 小 值 w=w ,b=b ， 以 及 对 ao 的 最 大 值 o=a*。 
对 工 求 导 可 得 : 


OL 5 

Ob T 

OL : 

-一 = 加 一 > ax.=0 (8.24) 
Ow = Ji | OE 

















oL (oL oL aL 
b ; 


Ow, dw,’ ôw, 

















于 是 ，SVM 通过 求解 二 次 规划 ， 得 到 对 应 的 wu* 和 w : 


I 
w= Ya VX; (8.25) 
i=l 





以 及 最 优 的 超 平面 ( 见 图 8.4)。 
经 过 变换 线性 可 分 条 件 下 的 原 问 题 成 为 对 偶 问 题 ， 求 解 如 下 的 极 大 化 : 
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I 1 I L 1 
max W (a) = >》 a; spa oua jyiy jx ex, WA hrs gh Sie (8.26) 
a i=l isl j=l 


> ya; = 0, a, > 0,i =1,2,---,/ (8.27) 














Er. 工 = (aaa) = (1,1…,) ，D KEL x NORRIE, BALE: 


D, = yy; X ox; (8.28) 





在 对 这 类 约束 优化 问题 的 求解 和 分 析 中 ,Karush-Kuhn-Tucker(KKT) 条 件 将 起 
(8.27) 式 这 样 的 问题 ,其 解 必须 满足 
Qa,{y,(we x,+b)—1}=0, i=1,2,…,/ (8.29) 
从 (8.25) 式 看 到 ,那些 ui =0 的 样本 对 于 分 类 问题 不 起 什么 作用 ， 只 有 o>0 的 样本 对 w* 起 作用 ， 
从 而 决定 分 类 结果 。 这 样 的 样本 定义 为 文 持 向 量 。 
所 求 向 量 中 , a* 和 w* 可 以 被 训练 算法 显 式 求 得 。 选 用 一 个 支持 问 量 样本 xi, 可 以 这 样 求 得 
b*: 


Isi 
pu 
58 
— 
UT 
Xu 
a 
yor 
五 
















































































六 =y,-wex, (8.30) 
对 输入 样本 x 测试 时 ， 计 算 下 式 








l 
d(x)=xew +b 2 Y ya; (xex,) +b" (8.31) 


i=l 


根据 d(x) 的 符号 来 确定 x 的 归属 。 




















8.4.2 线性 不 可 分 























线性 可 分 的 判别 函数 建立 在 欧 氏 距离 的 基础 上 ， 即 K(x,,x)) =x, ex; = XxX; 。 对 非 线 
性 问题 ， 可 以 把 样本 x 映射 到 某 个 高 维特 征 空间 石 ( 见 图 8.5)， 并 在 H PEREDA, 
MAUL, Hex WARD: RY >H: 



































x > (x) = (6,060.65 00.04.77)" (8.32) 


内 中 ,6 是 实 函 数 。 














输入 空间 
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图 8.5 输入 空间 到 特征 空间 的 映射 
ww ai bbt. com GOO0000 

















WU ER DRE IE Ted E DO) TERT A [el at x, 则 由 (8.28) 式 和 (8.31) 可 以 得 到 : 
Dj; = y,y;O(x,) ed(x;) (8.33) 














I 
d(x) = (x) e w" +b = M a,y,O(x,)e (x) +b" (8.34) 


i 
由 上 可 知 ,不 论 是 寻 优 函 数 (8.26) 式 还 是 分 类 函数 (8.31) 都 只 涉及 训练 样本 之 间 的 内 积 
(Xx;。X;)。 这 样 ， 在 高 维 空间 实际 上 只 需 进 行内 积 运算 ， 而 这 种 内 积 运 算是 可 以 用 原 空间 中 
的 函数 实现 的 ， 我 们 甚至 没有 必要 知道 变换 的 形式 。 根 据 泛 函 的 有 关 理 论 ， 只 要 一 种 核 函数 
K (x, © x) 满足 Mercer 条 件 ， 它 就 对 应 茶 一 空间 中 的 内 积 [Vapnik 95]。 





















































































































































因此 ， 在 最 优 分 类 面 中 采用 适当 的 内 积 函 数 开 (xz e x) 就 可 以 实现 某 一 非 线 性 变换 后 的 
线性 分 类 ， 而 计算 复杂 度 却 没有 增加 。 此 时 的 目标 函数 (8.26) 式 变 为 





























L l į 
max W (a) = va, -X Yea yy K(x, x) (8.35) 
£ i=l id j=l 
而 相应 的 分 类 函数 也 变 为 
L 
d(x) 2 M ya; K(x,x,) b (8.36) 
i=l 
这 就 是 支持 向 量 机 。 
对 给 定 的 Kay), 存在 对 应 的 @ 的 的 充 要 条 件 是 : 对 于 任意 给 定 的 函数 g(x)， 当 


b 
fead 有 限时 ,有 


b b 


| [KG 5)8 60g G)dxdy > 0 (8.37) 




















这 个 判别 条 件 不 容易 实际 操作 ,有 一 个 简单 的 方法 : 因为 多 项 式 是 满足 Mercer 条 件 的 ,因此 
只 要 K(x,y) BESCE Wisi LIE Mercer 条 件 。 
构造 类 型 判定 函数 的 学 习 机 称 为 支持 向 量 机 , 在 文 持 向 量 机 中 构造 的 复杂 性 取决 于 支持 
向 量 的 数目 ,而 不 是 特征 空间 的 维 数 。 支 持 向 量 机 的 示意 图 如 图 8.6 所 示 。 
对 非 线 性 问题 支持 问 量 机 首先 通过 用 内 积 函 数 定义 的 非 线 性 变换 将 输入 空间 变换 到 一 个 
高 维 空间 ， 在 这 个 空间 中 求 广 义 最 优 分 类 面 。 
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输出 层 





中 间 层 K(xnX) 


输入 层 








图 8.6 支持 向 量 机 的 示意 图 





8.5 核 函 数 


























支持 向 量 机 中 不 同 的 内 积 核 函 数 将 形成 不 同 的 算法 。 目 前 常用 的 核 函数 主要 有 和 多项式 核 
函数 、 径 向 基 沙 数 、 多 层 感 知 机 、 动 态 核 函数 等 。 


8.5.1 多 项 式 核 函数 


多 项 式 核 函 数 : 
K(x,x,) 2 [G5 x) +11” (8.38) 


所 得 到 的 是 d 阶 多 项 式 分 类 器 。 




















f(x,0) = ve 3 esl; ex) Ip -s| 


sup port vector 


8.5.2 4 [nj JE ph AL 

















uy 


























经 典 的 径 向 基 函 数 使 用 下 面 的 判定 规则 :: 
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f(x)= si Dank, (x -x- 

















(8.39) 







































































H — x,| 。 对 于 任何 y 
个 非 负 的 单调 函数 。 当 训练 样本 数 趋向 无 穷 大 时 它 趋 向 零 。 最 通用 的 判定 规则 是 采用 高 斯 函 
数 : 

(8.40) 


Ies Pol 
= ex = —— 
p z 

构造 (8.39) 式 的 判定 规则 ， 必 须 估 计 : 
(1) 参数 y 的 值 ; 
(2) HU x; 数目 N; 
(3) 描述 中 心 点 向 量 
(4) 参数 w 的 值 。 





K,(x-x, 


Xi; 








HE fe BENT Fe Ld JE PB BOTT IS HIS EEE, 








Wl 




















这 里 每 个 基 函 数 的 中 心 点 对 应 一 个 支持 下 向 量 
ATE AY 
































chp 





8.5.3 多 层 感知 机 



























































P 心 点 本 身 和 输出 权 值 都 是 由 SVM 训练 算法 来 自动 


日 Sigmoid 函数 作为 内 积 , 这 时 就 实现 了 包含 一 个 隐 层 的 多 








层 感 知 机 。 隐 层 


支持 向 量 机 采 上 月 
节点 数目 由 算法 自动 确定 。 满 足 Mercer 条 件 的 Sigmoid 核 函 数 为 
K(x,,x,) = tanh(jx; x, — 8) (841) 
算法 不 存在 困扰 神经 网 络 的 局 部 极 小 问题 
8.5.4 BASIS why AL 
上 修正 原 有 的 核 


1999 年 Amari 和 Wu 通过 对 核 函 数 的 黎 
函数 , 使 之 更 好 适应 实际 问题 。 设 特 


6 
dU = 2z Ode, 


i 








aul’ = 3 2, @dx,ax, 
LJ 


He 


a eo - [Lo 


JE nd 


征 映射 U= © (x), 





几何 分 析 , 提出 利用 实验 数据 逐步 
则 


BS Bat 


XE FE (g; G0) AR ENR Ske, 





| BK dE fh x 





E 离 的 R 成 为 黎 曼 空间 ， 体 积 





du 
AR SS 


上 的 





ds? = » gs (x)dx,dx , Jj R” 
ij 


dv = 4 g(x)dx, dx, 


IEA. WTR SE 
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HH, g(x) =det(g,(x)) - EDUUI UL, g GO 反映 了 特征 空间 中 ， 点 中 (x) 附近 局 部 区 域 被 放大 
的 程度 。 因 此 ， 也 称 gGO 为 放大 因子 。 
因为 k(x,z) = (D(x)e。 D(z))， 可 以 验证 




















g,(x)= 


特别 对 高 斯 函数 K(x， -— i js 2,00 7 —6, 























为 了 有 效 地 将 两 类 不 同 的 模式 区 分 开 ， 和 希望 尽量 拉 大 它们 之 间 的 距离 ， 即 尽量 放大 分 离 曲 二 
附近 的 局 部 区 域 。 可 以 用 修正 核 函数 的 办 法 达到 此 目的 。 设 c (x) 是正 的 可 微 实 函 数 ，k (x, z) 
是 高 斯 核 ， 则 


k (x, z) = c(x)k(x, z)c(z) (8. 42) 
也 是 核 函 数 , H. 















































g; (x) = c (x)c; (x) 十 PNE, 
这 里 , c, (x)= eG) o Amari 和 Wu 设 c(x) 有 如 下 的 形式 
X; 


2 
bm] 


c(x) = She D (8. 43) 


x; SV 














这 里 ,+t >0 是 参数 , hi 是 权 系 数 。 在 支持 向 量 x 附近 ， 有 





2 
h, CT 
4g(x) « "yb 


其 中 ， T=] z 
小 值 。 经 计算 知 

















是 欧 几 里 德 距离 , 为 保证 VS(z) 在 xi 附近 取 最 大 值 ， 同 时 在 其 它 区 域 取 较 


























(8. 44) 


这 样 , 新 的 训练 过 程 由 两 步 组 成 : 





























(1) 先 用 某 个 核 k (高 斯 核 ) 进行 训练 , 然后 按照 (8. 42) 、(8. 43) 、(8. 44) 得 到 修正 的 核 上 ; 




















(2) 用 左 进 行 训练。 


这 种 改进 的 训练 方法 ， 不 仅 可 以 明显 地 降低 错误 识别 率 ， 而 且 ， 还 可 减少 支持 下 向 量 的 个 数 ， 
从 而 提高 识别 速度 。 
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8.6 基于 分 类 超 曲 面 的 海量 数据 分 类 方法 











TRE KRALL) 











的 思想 在 本 质 上 是 相同 的 [Zhang Lin 1999], H 
射 到 球面 上 的 样本 ， 并 建立 以 划 
类 别 的 样本 。 显 然 ， 这 个 邻 域 可 以 通过 在 原 空 间 中 的 距离 (样本 之 间 的 内 积 ) 来 定义 。 然 后 ， 
直到 履 盖 所 有 的 样本 。 与 Vapnik 的 支持 向 量 机 相 比 较 ， 
而 使 用 邻 域 来 代替 ， 而 两 种 方法 的 区 别 就 在 求解 这 个 二 











将 这 些 样本 删除 ， 
他 们 未 显现 地 使 用 





























球面 投影 函数 作为 非 线 形 映射 , 完成 样本 点 的 分 类 问题 , 这 与 Vapn 

















再 重复 上 述 过 程 ， 
向 量 这 个 概念， 











坐标 为 中 心 的 邻 






































规划 问题 的 方法 上 : Vapnik 直接 计算 (8.45) x, 
O(a,)= Dia, - 9 aayy K(x, ex) 
这 需要 计算 出 一 个 m AER ARE, TES Zr WI Xe EE EAR 08] PRAEEST EST 








判断 哪些 样本 可 以 删除 ， 即 可 以 使 月 
(8.45) 式 的 内 积 








意味 着 使 得 基于 




















储 空间 与 计算 量 。 在 应 





JE, CENAE 














E 阵 降低 一 维 ， 





算法 可 以 说 明 为 ， 在 球面 
域 ， 


邻 域 概括 一 部 分 2; = 0 的 向 量 ， 








EF， 考虑 一 个 被 
使 得 在 这 个 邻 域 中 最 大 限度 地 包括 相 





















































(8. 45) 







































































SVM 原理 





处 理 

















器 学 习 理 论 的 重要 贡献 。 


8.6.1 Jordan 曲线 定理 

WX CR vtm T4, X IIR 
^ RUBRI, -DELAR X "PEEL INA 
内 部 ，C 为 其 边界 








推论 82 设 刀 是 一 个 闭 








的 一 一 映射 ， 疏 
面 的 一 个 开 子 集 。 



























































WB, D° 为 















































Jordan 曲线 定理 表明 从 











E 何 的 简单 闭 


k (一 条 两 端 相 接 并 且 自 















































个 平面 分 成 两 个 区 域 一 
曲线 的 外 部 呢 ? 











定义 8.4 围绕 数 对 于 任何 连续 


P: 


1. 将 小 区 间 划 分 为 4a=t6。 St, € €t, =b, ERED DX Tel [t,_,, 0, ] BUN SILA P h 
因为 y 的 每 个 象 点 都 包含 于 这 样 的 小 
































小 曲线 段 ， 


线段 。 








2. XE BUE. A. y (t uut] 的 小 


P=y(t,),0Si<n. EX 


WQ,P)-—Y60)- 60.) 


^b 





部 和 一 个 内 部 。 给 定 


























n 

















Jii Lebesgue 引 理 这 样 的 划分 是 存在 的 ， 














18B U, K 

















个 点 ， 如 何 判断 它 在 












































莽 对 应 的 极 角 函数 0 (1<i<n) 。 
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ik 
映 


次 


边 


因为 每 删除 一 个 样本 就 


因此 ， 这 个 考虑 可 以 大 大 减少 所 需要 的 存 
海量 样本 集成 为 可 能 ， 这 是 对 统计 机 


圆周 ,， 那么 它 的 余 集 R*”\ 了 有 两 个 连通 分 支 , 一 
E 何 邻 域 与 这 两 个 连通 分 支 均 相交 。 


= 2 B 
BUS, f:D— R? 是 一 个 连续 


IA R^ V f(C) 有 两 个 连通 的 分 支 f(D") 和 R*\ f(D)， 特 别 地 f(D") 是 平 


身 不 相交 的 曲线 〉 都 把 一 
| 线 的 内 部 还 是 在 


Hy [a,b] > R? P}, RENEW (y, P) 如 


cr 
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命题 8. 1 





Wl Wy, P) 为 一 个 整数 。 


分 





定理 8. 4 


类 


连通 


有 两 个 




















jul. ub X c REF 


DS, SEAR, 
































HA 


一 个 是 


ARATA 











SE, EH xe R?^N X ,. w 


E. X RSA, 那么 它 的 


围绕 数 与 步骤 1 与 步骤 2 中 的 选取 方法 无 关 ， 若 /为 闭 曲 线 ， 即 YX(a) = Y(D) ， 


A 


AN 


4 R?\ X 





xeX WARS WX, x) A83. xeX 的 外 部 使 WX, x) AA. 














上 述 定义 与 定理 可 推广 到 高 维 


























TE 























基于 拓扑 学 中 的 Jordan H 








£k 


图 8.7 分 类 判别 定理 





e 











不 
































双 侧 闭 曲 面 作为 分 类 超 























Ifl, CSeparat 

















分 类 
多 个 超 平 国 而 点 属于 超 曲 











HAREE 


























构成 ， 
还 是 偶数 ， 该 判别 方法 





AB EES 
使 得 基本 


8.6.2 SVM 直接 方法 基本 


根据 
推广 到 高 
Ls 
2， 将 矩形 区 域 划分 成 若干 小 








EIRE H 
在 数 据 的 处 理 。 
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F 非 凸 的 超 曲 面 的 


设 已 给 的 样本 点 落 在 一 个 矩形 区 域 中 ， 








分 类 








FH XH 


PAIRE 





E， 不 需要 考虑 使 用 
ing Hyper Surface) 对 空间 进行 划分 。 





可 种 核 函数 ， 而 通 

















过 使 与 球面 同 胚 的 
分 类 超 曲 面 可 以 由 











部 取决 于 该 点 引出 的 射线 与 超 





判别 变 得 直接 、 简 便 。 














我 们 提出 如 下 SVM 直接 方法 的 基本 思想 ) 


IH 











区 域 ， 使 每 个 小 
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KI Ee SA 











于 二 元 数据 


EA pis 





un 


分 类 ， 


面相 交 为 奇数 

















PIRATE 38 


3， 对 每 个 含 样本 点 的 小 区 域 边 界 根据 样本 点 的 类 别 标定 方向 ， 一 种 为 顺 时 针 方向 ， 一 种 


为 道 时 针 方向 ; 


4. 合并 矩形 边界 ， 同 向 线段 保留 ， 异 向 线段 抵消 ， 获 得 若干 封闭 折线 组 成 的 分 类 超 平面 ， 























首 以 链 的 形式 存储 超 平面 ; 
5， 输 入 新 样本 点 ， 计 算 该 点 关于 以 上 分 类 












































| 线 的 围绕 数 ， 根 据 围绕 数 判定 该 样本 点 所 在 























的 类 ; 另 一 种 简便 方法 是 选择 适当 的 
遇 性 判断 样本 点 所 在 的 类 ; 若 不 能 判 
入 第 4 步 ; 

6. HIE EOM 
类 合并 的 办 法 。 























— 


Wr. Bt 











8.6.3 实现 算法 











由 待定 点 出 发 的 射线 ， 通 过 射线 与 超 平面 的 相交 数 的 奇 
围绕 该 点 做 一 个 小 矩形 ， 并 对 边界 定向 ， 之 后 转 























断 问题 ， 就 对 第 3 步 的 小 矩形 的 向 量 增加 一 个 标 类 别 的 分 量 ， 第 4 步 用 同 





根据 上 述 基本 思想 ， 设 计 出 SVM 直接 方法 的 训练 算法 及 分 类 算法 〈 二 元 ) 如 下 。 








l. 


设 


2. 


学 习 过 程 





FEB BOA Heck CHIL 8. 8)， 训 练 样本 落 入 此 
X 00 将 此 单元 格 分 为 两 类 ， 分 别 标注 边界 ， 将 同类 区 域 边界 合并 ， 








细 化 方案 























T 
再 合并 











边界 ， 存 放 边 界 链表 ; 循环 完成 此 训练 过 程 。 


单元 格 内 已 有 一 不 同类 训练 样本 ， 则 将 此 单元 格 细 化 ， 并 进行 归 一 





区 域内 一 单元 格 内 ， 按 照 类 别 
并 以 链表 形式 存放 。 





























此 操作 ， 继 续 标注 ， 
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PT A 一 待 识别 样本 
ESTEE ee I 
PT TT ET ET 
PT TTT TET 
EL TORRE at Te TE 
e E EE EUR UE 
Y 
图 8.8 实现 方案 
3. 分 类 过 程 
当 一 待 识别 的 样本 CAD 进入 此 区 域 后 ， 作 射线 ， 与 存储 链表 形成 的 区 域 多 边 形 各 边 作 相 
交 操作 ， 根 据 判别 点 是 否 在 多 边 形 内 的 规则 ， 即 两 类 边界 围绕 数 的 奇偶 性 ， 判 断 出 此 样本 所 
BARS 











如 果 样 本 所 在 小 区 域 已 经 细 化 ， 则 将 样本 坐标 单位 化 ， 放 入 细 化 区 域 ， 继 续 进 行 上 述 的 
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分 类 过 程 。 

根据 分 类 超 曲面 的 思想 ， 我 们 给 出 以 上 几 步 算法 实现 过 程 ， 训 练 过 程 与 分 类 过 程 的 算法 
复杂 度 都 是 多 项 式 的 。 实 际 细 化 过 程 中 ， 为 保证 边界 的 连续 性 ， 链 表 也 要 同时 记录 同 区 域内 
同类 训练 样本 ， 但 在 样本 集 规模 很 大 的 情况 下 ， 可 对 细 化 的 层次 进行 控制 ， 即 在 训练 过 程 中 
将 不 影响 分 类 边界 生成 的 样本 删除 ， 可 保证 计算 速度 。 


8.6.4 实验 结果 分 析 

我 们 已 经 提出 了 基于 分 类 超 曲 面 的 分 类 算法 ,本 节 使 用 Spiral 螺 线 两 类 样本 数据 (线形 不 
可 分 )， 测 试 本 算法 的 分 类 正确 率 。 可 以 看 到 随 着 样本 数 的 增加 ， 形 成 的 分 类 折线 连贯 性 越 好 ， 
分 类 测试 准确 率 越 高 。 对 于 海量 数据 (1070, SVM 直接 方法 的 计算 速度 极 快 ， 同 时 对 计算 机 


资源 要 求 很 低 , 而 传统 的 SVM 不 具备 有 这 种 优点 , 由 此 可 见 , 对 大 规模 样本 点 进行 分 类 , SVM 
直接 方法 可 得 到 良好 的 结果 。 























































































































1. 构 造 测试 数据 
双 螺 旋 分 类 问题 : 两 条 螺旋 线 开 1 和 天 2 〈 极 坐标 形式 ) 
Ki pg 
K2:p=0+2 PES (847) . 








根据 公式 (8.47) 构造 训练 样本 集合 及 测试 样本 集合 ， 圈 数 =4， 不 失 一 般 性 ， 将 样本 点 平 
移 并 压缩 至 算法 所 需 范围 内 ， 如 图 8.9 所 示 。 























Samples Num: 5402 
图 8.9 双 螺 旋 问 题 
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实验 经 过 以 下 几 个 步骤 ; 
C1) 生成 训练 样本 ， 导 入 数据 库 ; 
(2) 对 训练 样本 进行 训练 ， 记 录 训练 所 需 时 间 ; 保存 训练 所 得 分 类 链表 ; 
G) 从 数据 库 提 取 分 类 链表 ， 对 测试 样本 进行 分 类 ， 记 录 测 试 所 需 时 间 ， 记 录 分 类 结果 ， 计 
算 分 类 正确 率 。 测 试 样本 的 选取 一 类 为 训练 样本 本 身 集 合 ， 一 类 为 数量 多 倍 于 训练 样本 的 马 
一 样本 集合 。 














1. 中 小 规模 样本 实验 结果 
(OD 训练 结果 见 表 8.1。. 


表 8.1 ”中 小 规模 样本 训练 结果 





样本 点 个 数 @ 训练 所 宕 时 间 @ 分 类 所 需 时 间 @ 分 类 正确 率 〈%) @ 
5, 402 2s 4s 100.00 
13, 500 6s 10s 100.00 
27, 002 13s 21s 100.00 
54, 002 27s 43s 100.00 
108, 000 57s 1m 24s 100.00 
540, 000 6m 21s 8m 11s 100.00 
1, 350, 002 19m 14s 20m 10s 100.00 
5, 400, 000 46m 45s lh 10m 5s 100.00 














包 样 本 点 为 Spiral MEME, OMA ATR: h CDI. m PD. s〈 秒 )， 回 测试 样本 点 集 
合 为 训练 样本 点 本 身 集合 ，@ 测 试 样本 点 实际 类 别 为 构造 时 所 得 . 























(2) 训练 所 得 分 类 链表 
训练 所 得 分 类 链表 的 保存 和 提取 均 可 在 几 秒 内 完成 ， 且 需要 的 存储 空间 极 少 。 训 练 所 得 

分 类 链表 结构 见 图 8.10。 

2. 大 规模 样本 实验 结果 

(1) 训练 结果 见 表 8.3。 


























表 8.3 大 规模 样本 训练 结果 

















样本 点 个 数 训练 押 需 时 间 分 类 所 需 时 间 @ 分 类 正确 率 (%) 
10, 800, 000 1h 34m 57s 2h 17m 35s 100.00 
22, 500, 002 3h 16m 9s 4h 49m 55s 100.00 
54, 000, 000 7h 42m 52s 11h 47m 7s 100.00 














@ 测 试 样 本 点 集合 为 训练 样本 点 本 身 集合 . 








(2) 分 类 测试 结果 见 表 8.4。 


表 8.4 大 规模 样本 测试 结果 























样本 点 个 数 〇 @ 测试 样本 点 个 数 分 类 所 需 时 间 分 类 正确 率 (%) 
10, 800, 000 22, 500, 002 4h 7m 4s 100.00 
22, 500, 002 54, 000, 000 11h 25m 3s 100.00 
54, 000, 000 67, 500, 002 14h 37m 6s 100.00 
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包 样 本 点 个 数 为 训练 点 个 数 





3. 小 样本 训练 ， 大 样本 分 类 





测试 结果 见 表 8.5。 























本 的 10 fi 














X 8.5 ”小 样本 训练 ， 大 样本 分 类 测试 结果 
样本 点 个 数 O ” ”测试 样本 点 个 数 @ 分 类 所 需 时 间 分 类 正确 率 〈%) 
5, 402 54, 002 4ls 99.59 
5, 402 540, 000 6m 45s 99.58 
27, 002 540, 000 6m 44s 99.98 
54, 002 540, 000 6m 47s 100.00 
54, 002 5, 400, 000 1h 7m 7s 100.00 
四 样本 点 个 数 为 训练 点 个 数 ， 四 测试 样本 点 由 Spiral 螺 线 构造 的 另 一 样本 集合 〈 样 本 数量 为 训练 
以 上 )。 
表 8. 5 表明 基于 分 类 超 曲面 的 SVM 直接 方法 有 很 好 的 泛 化 能 力 。 
图 8.10 训练 所 得 分 类 链表 结构 
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训练 所 得 分 类 链表 及 其 对 样本 点 的 覆盖 情况 见 图 8. 





样本 数 :27002 





正确 率 : 10000% 





d 





8.12 ”分 类 链表 及 其 对 样本 点 的 覆盖 情况 


题 
比较 经 验 风险 最 小 化 原理 和 结构 风险 最 小 化 原理 。 
VC 维 的 含义 是 什么 ， 为 什么 说 VC 维 反映 了 函数 





















































集 的 学 习 能 力 。 




















Le 





试 叙述 统计 学 习 理论 的 三 个 里 程 碑 ， 并 分 析 各 个 上 





























kt 体 解决 了 什么 问题 。 











描述 支持 向 量 机 的 基本 思想 和 数学 模型 。 






































为 什么 说 统计 学 习 理 论 是 支持 向 量 机 的 理论 基础 ， 表 现在 哪些 方面 。 
考虑 用 于 线性 可 分 模式 的 超 平面 ， 它 的 方程 定义 为 : 




















w'x+b=0 




















N 
4 





min |w'x, +b|=1 
il2,-.N 





Ww, b) AL E F TET Pa EXT (canonical pair)。 证 明 标 准 对 的 要 求 导 致 两 类 分 离 边 界 的 距 














为 2/]wll. 
简 述 支持 向 量 机 解决 非 线 性 可 分 问题 的 基本 思想 。 
两 层 感知 器 的 内 积 核定 义 为 


K(x,x,) = tanh( fx x, + f) 
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un 











中 w 表示 权 值 向 量 , 5b 为 偏 置 ，x 为 输入 向 量 。 如 果 输 入 模式 集 Dc; yra 满足 附加 的 条 件 
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探讨 对 常数 BP, Al B, 的 那些 值 不 满足 Mercer 定理 的 条 们 
9. 关于 下 列 任务 比较 支持 向 量 机 和 径 向 基 函 数 (RBE) 网 络 的 优点 和 局 限 : 


(1) 模式 识别 
(2) 非 线 性 回归 





























10， 比 较 其 它 的 分 类 方法 ， 讨 论文 持 向 量 机 的 几 个 





的 加 以 解释 。 
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BILE ”解释 学 习 


解释 学 习 (Explanation-Based Learning， 简 称 EBL) 是 一 种 分 析 学 习 方 法 ， 在 领域 知识 指 
导 下 ， 通 过 对 单个 问题 求解 实例 的 分 析 ， 构 造 出 求解 过 程 的 因果 解释 结构 ， 并 获取 控制 知识 ， 
以 便 用 于 指导 以 后 求解 类 似 问 题 。 










































































9.1 概述 














解释 学 习 最 初 是 由 美国 Illinois 大 学 的 DeJong 于 1983 年 提出 来 的 。 在 经 验 学 习 的 基础 
上 ， 运 用 领域 知识 对 单个 例子 的 问题 求解 作出 解释 ， 这 是 一 种 关于 知识 间 因 果 关 系 的 推理 分 
析 ， 可 产生 一 般 的 控制 策略 。 

1986 Æ, Mitchell, Keller 和 Kedar-Cabelli 提出 了 解释 的 泛 化 (Explanation-Based 
Generalization， 简 称 EBO) 的 统一 框架 ， 把 解释 学 习 的 过 程 定义 为 两 个 步 又 : 

(1) 通 过 分 析 一 个 求解 实例 来 产生 解释 结构 ; 

(2) 对 该 解释 结构 进行 泛 化 ， 获 取 一 般 的 控制 规则 。 

DeJong 和 Mooney 提出 了 更 一 般 的 术语 --- 解 释 学 习 (Explanation-based Learning， 简 称 
EBL) 。 从 此 解释 学 习 成 为 机 器 学 习 中 的 一 个 独立 分 枝 。 基 于 解释 的 学 习 从 本 质 上 说 属于 演绎 
学 习 ， 它 是 根据 给 定 的 领域 知识 ， 进 行 保 真 的 演绎 推理 ， 存 储 有 用 结论 ， 经 过 知识 的 求 精 和 
编辑 ， 产 生 适 合 以 后 求解 类 似 问 题 的 控制 知识 。 解 释 学 习 与 经 验 学 习 的 方法 不 同 ， 经 验 学 习 
是 对 大 量 训练 例 的 异同 进行 分 析 ， 而 解释 学 习 则 是 对 单个 训练 例 〈 通 常 是 正 例 ) 进行 深入 的 、 
知识 集约 型 的 分 析 。 分 析 包 括 : 首先 解释 训练 例 为 何 是 欲 学 概念 〈 目 标 概念 ) 的 一 个 例子 ， 
然后 将 解释 结构 泛 化 ， 使 得 它 能 比 最 初 例子 适用 于 更 大 一 类 例子 的 情况 ， 最 后 从 解释 结构 得 
到 更 大 一 类 例子 的 描述 ， 得 到 的 这 个 描述 是 最 初 例子 泛 化 的 一 般 描述 。 

解释 学 习 可 以 用 于 获取 控制 知识 、 精 化 知识 、 软 件 重 用 、 计 算 机 辅助 设计 和 计算 机 辅助 
教育 等 方面 。 在 传统 程序 中 解释 的 作用 主要 是 说 明 程 序 、 给 定 提 示 、 向 用 户 提供 良好 的 可 读 
性 。 按 人 工程 序 的 特点 ， 解 释 已 被 赋予 新 的 含义 ， 其 作用 是 : 

(1) 对 所 产生 的 结论 的 推理 过 程 作 详细 说 明 ， 以 增加 系统 的 可 接受 性 ; 

(2) 对 错误 决策 进行 追踪 ， 发 现 知 识 库 中 知识 的 缺陷 和 错误 的 概念 ; 

(3) 对 初学 的 用 户 进行 训练 。 

解释 的 方法 也 因此 由 简单 变 得 复杂 了 。 一 般 采 用 的 解释 方法 有 : 

(1) 预制 文本 法 。 预 先 用 英文 写 好 ， 并 插入 程序 中 ; 

(2) 执 行 追 踪 法 。 遍 历 目标 树 ， 通 过 总 结 与 结论 相关 的 目标 ， 检 索 相 关 规 则 ， 以 说 明 结论 
是 如 何 得 到 的 ; 

(3) 策略 解释 法 。 明 确 表 示 控 制 知识 ， 即 用 元 知识 概括 地 描述 ， 与 领域 规则 完全 分 开 。 从 
策略 的 概括 表示 中 产生 解释 ， 能 为 用 户 提供 问题 求解 策略 的 解释 。 
在 解释 学 习 中 主要 采用 了 执行 追踪 法 。 通 过 遍历 目标 树 ， 对 知识 相互 之 间 的 因果 关系 给 
出 解释 ， 而 通过 这 种 因果 关系 的 分 析 ， 学 习 控 制 知识 。 
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9.2 解释 学 习 模 型 

















Ro M. Keller 指出 解释 学 习 涉 及 三 个 不 同 的 空间 : 例子 空间 、 概 念 空间 和 概念 描述 空间 
[Keller 1987] 。 一 个 概念 可 由 例子 空间 外 延 地 表示 成 某 些 事例 的 集合 。 概 念 也 可 以 由 概念 描 
述 空间 内 涵 地 表示 为 例子 空间 例子 的 属性 。 图 9. 1 说 明了 三 个 空间 的 关系 。 

概念 空间 指 某 个 学 习 程 序 能 描述 的 所 有 概念 的 集合 ， 其 中 每 个 点 对 应 例子 空间 的 唯一 的 
一 个 子 集合 。 例 如 C 对 应 Do De Ts 但 是 概念 空间 中 的 一 个 点 可 以 对 应 概念 描述 空间 的 多 个 
点 ， 这 些 点 分 成 可 操作 的 和 不 可 操作 的 两 部 分 。 例 如 Ci 对 应 Di (不 可 操作 的 ) 和 Do (可 操作 的 ) 。 
对 应 同一 概念 的 两 个 描述 称 为 同义词 。 如 Di 和 Ds 是 同义词 。 解 释 学 习 的 任务 就 是 由 不 可 操作 
的 描述 转化 为 可 操作 的 描述 。 

















































































































概念 措 述 空间 概念 空间 例子 空间 
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图 9.1: 解释 学 习 的 空间 描述 


在 解释 学 习 中 ， 如 图 9.1 所 示 ，D 是 提 给 系统 初始 的 、 不 可 操作 的 描述 。 而 Ds 是 学 习 到 
的 最 终 的 、 可 操作 的 描述 。 所 以 D 可 看 成 是 搜索 的 开始 结 点 ，D: 是 解 结 点 ， 解 释 是 空间 变换 ， 
而 可 操作 性 是 搜索 结束 的 标准 。 从 Di 到 D; 变 换 的 过 程 称 作 概念 可 操作 [Keller 1987]. 

从 概念 上 讲 ， 每 种 解释 学 习 系统 都 包括 可 操作 性 评估 过 程 ， 评 价 概念 的 描述 ， 产 生 可 操 
作 性 评测 结果 。 可 变性 、 粒 度 、 确 定性 是 可 操作 性 在 评估 过 程 中 产生 的 三 维特 性 。 表 9.1 给 
出 了 几 个 系统 的 可 操作 特性 。 






























































表 9.1: 可 操作 特性 
系统 dm 粒度 Die 



























T GENESIS || 动态 二 进 制 | 不 保证 
LEX2 动态 | 二 进 制 | 不 保证 
SOAR 动态 二 进 制 | 不 保证 
PRODIGY 






静态 | 连续 | 不 保证 
动态 i 

根据 上 述 的 空间 描述 ， 可 以 建立 解释 学 习 的 一 种 模型 。 解 释 学 习 系 统 主 要 包括 执行 系统 
PS， 学 习 系 统 EXL， 和 领域 知识 库 KB (这 是 不 同 描述 间 转 换 规则 的 集合 ) 。 令 概念 空间 为 C， 概 念 
述 空间 为 CD， 例 子 空间 为 I。 则 系统 工作 过 程 如 下 。EXL 的 输入 是 概念 C1 的 描述 D (一般 是 
不 可 操作 的 ) 。 根 据 KB 中 的 知识 ， 对 Di 进行 不 同 描述 的 转换 (这 是 一 个 搜索 过 程 ) 。PS 对 每 个 
转换 结果 进行 测试 ， 直 至 转换 结果 是 PS 可 接受 的 描述 D。( 是 可 操作 的 ) 时 ， 学 习 结 束 并 输出 
D, 模型 如 图 9.2 所 示 。 














MetaLEX 
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| IN 
= supr oU RAS Y 
D EXL I— 的 转交 pur re 


à 由 








图 9.2: 解释 学 习 的 模型 
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9.3.1 基本 原理 


9.3 解释 泛 化 学 习 方 法 





Mitchell, Keller 和 Kedar-Cabelli 于 1986 年 为 解释 泛 化 学 习 方 法 提出 了 一 个 统一 的 框架 
































[Mitchell 1986]. B 











基本 思想 是 对 某 







































































了 知识 的 逻辑 表示 和 演绎 型 问题 求解 方法 。 


情况 建立 一 解释 结构 ， 将 此 解释 结构 概括 使 之 可 应 用 





于 更 广泛 的 情况 。 解 释 泛 化 学 习 运 月 

为 了 便于 叙述 ， 我 们 先 引 入 一 些 术 语 。 概 念 是 例子 空间 上 的 谓词 ， 
子 集 。 概念 由 其 属性 和 属性 值 表示 。 
条 件 ， 而 充分 概念 定义 说 明 的 只 是 充分 条 件 。 





是 概念 定义 的 例子 则 称 为 反例 。 
义 ， 解 释 结构 是 证 明 树 ， 其 中 每 个 已 
解释 泛 化 学 习 问题 可 以 形式 化 地 








已 知 : 




















ey 








述 为 : 














目标 概念 (Goal concept): 
要 学 习 概 念 的 描述 。 


训练 例 


(Training example): 


目标 概念 的 一 个 实例 。 









































欲求 : 


。 训 练 实例 的 泛 化 ， 使 之 满足 以 下 两 个 条 件 ; 


(1) 是 


领域 理论 (Domain theory): 

TH REOR VIL ZI ESI — ZA. SR 
可 操作 
说 明 概念 


pui 





ny 
Keo 











性 标 六 
述 应 具有 的 形式 的 谓词 。 
























































目标 概念 的 充分 概念 描述 。 








(2) 满足 可 操作 性 标准 。 


解释 泛 化 学 习 方 法 可 以 分 成 两 个 阶段 。 第 一 阶段 是 解释 ， 这 个 阶段 的 任务 就 是 利用 
建立 解释 树 ， 或 叫 证 明 树 ， 证 明 j 
第 二 阶段 的 工作 是 泛 化 ， 也 前 
对 目标 概念 进行 回归 ， 从 而 得 到 所 期 望 的 概念 
阶段 解释 的 工作 是 将 实例 的 相关 属性 与 无 关 属 性 分 离 





理论 中 的 知识 ， 对 训 
概念 定义 。 树 的 叶 




















结构 。 


(1) 产生 解释 。 月 
领域 知识 库 中 寻找 有 关 规 则 ， 
该 规则 作为 前 件 ， 并 记录 这 一 因果 关系 。 然 
如 此 反复 ， 沿 着 因果 链 ， 直 至 
了 证 明 的 因果 解释 结构 。 






































结 
果 一 一 证 明 树 进行 处 理 ， 














练 实例 进行 解释 ， 
点 满足 可 操作 性 标准 。 



































E (Operationality criterion): 












































构造 解释 结构 通常 有 两 利 


作 序 列 作为 解释 结构 
例 的 某 些 事实 描述 ; 












































; 为 一 种 是 
后 者 比较 细致 ， 每 个 事实 都 出 现在 订 








一 个 实例 的 概括 是 描述 包含 此 实例 的 例子 多 
网 示 的 规则 均 被 对 应 的 泛 化 规则 代 蔡 。 






































解 的 同时 进行 ， 也 可 
学 两 种 方法 。 


m 
JOH 
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PAW a, W 











衣 不 
概念 定义 说 明了 作为 概念 的 一 个 例子 应 满足 的 充分 必要 
满足 概念 定义 的 例子 称 为 实例 或 正 例 ， 


Be 


例子 空间 的 一 些 


而 不 满 




















us 


练 例如 何 满足 目 
是 对 第 一 阶段 的 结 
述 。 实 际 上 ， 第 一 


合 的 一 个 概念 定 

















领域 
标 


























来 ， 第 二 阶段 泛 化 的 了 




















把 目标 作为 后 件 ， 
后 以 规则 的 前 件 作为 子 目标 ， 进 一 步 分 解 推理 。 


I 求解 结束 。 一 旦 得 到 解 ， 便 证 明了 该 例 的 目标 可 满足 ， 并 获得 


[ 作 是 分 析 解 释 


日 户 输入 实例 后 ， 系 统 首先 进行 问题 求解 。 如 由 目标 引导 反 向 推理 ， 从 
使 其 后 件 与 目标 匹配 。 找 到 这 相 









































方式 : 一 是 将 问题 求解 的 每 一 步 推理 所 用 的 算 








fi 


CR, WEZ) 


AW PARER. HEC, WB DS ORT 
E 明 树 中 。 解 释 的 构造 可 以 在 音量 求 
在 问题 求解 结束 后 ， 沿 着 解 路 径 进 行 。 这 两 种 方式 形成 了 边 解 边 学 和 解 
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(2) 对 得 到 的 解释 结构 核心 事件 进行 泛 化 。 在 这 一 步 ， 通 常 采取 的 办 法 是 将 常量 转换 为 
变量 ， 即 把 例子 中 的 某 些 具体 数据 换 成 变量 ， 并 略 去 某 些 不 重要 的 信息 ， 只 保留 求解 所 必需 
的 那些 关键 信息 ， 经 过 某 种 方式 的 组 合 ， 形 成 产生 式 规 则 ， 从 而 获得 泛 化 的 控制 知识 。 

作为 一 个 例子 ， 考 虑 目标 概念 SAFE-TO-STACK (x, y) ， 即 一 对 物体 人 x, y>, x 可 以 安全 地 放 
Æ y 的 上 面 。SAFE-TO-STACK 的 实例 如 下 : 

设 定 : 


























。 目标 概念 : 一 对 物体 人 x, y>, SAFE-TO-STACK (x, y), ， 其 中 SAFE-TO-STACK (x, y) © 


NOT (FRAGILE (y)) V LIGHTER (x, y) 。 
。 训练 实例 : 

ON(OBJ1, OBJ2) 

ISA(OBJ1, BOX) 

ISA(0BJ2, ENDTABLE) 
COLOR (OBJ1, RED) 

COLOR (OBJ2, BLUE) 

VOLUME (OBJ1, 1) 

DENSITY (OBJ1, . 1) 


。 领域 知识 : 
VOLUME (pl, v1) A DENSITY(p1, dl) — WEIGHT (pl, vl*dl) 
WEIGHT (pl, wl) A WEIGHT (p2, w2) A^ LESS(wl, w2) 一 LIGHTER(pl, p2) 
ISA(pl, ENDTABLE) — WEIGHT (p1, 5) (default) 
LESS(.1, 5) 


























。 可 操作 标准 : 概念 定义 必须 要 用 描述 实例 中 的 谓词 (例如 VOLUME, COLOR, DENSITY), 
或 者 选 自 领域 知识 易于 评测 的 谓词 (例如 LESS) 。 
确定 : 
训练 实例 的 泛 化 是 对 目标 概念 给 以 充分 定义 ， 并 且 满 足 可 操作 性 标准 。 
首先 EBG 系统 利用 领域 知识 建造 解释 树 ， 使 训练 实例 满足 目标 概念 的 定义 。 图 9. 3 给 出 
SAFE-TO-STACK (OBJ1, OBJ2) 的 解释 树 。 












































SAFF-TO-STACKIOBJL OBJ2) 








LIGHTER(OBJ1, OBJ2) 
WEIGHT(OBJL, .1) LESS(.1, 5) WEIGHT(OB.J2, 5j 
4 
VOLUNE(OBJI, 1) DENSITY (OBJL, .1) ISA(OBJ2, ENDTABLE) 
图 9.3 SAFE-TO-STACK(OBJ1, OBJ2)f EH 











图 9.4 给 出 了 SAFE-TO-STACK 实例 处 理 的 泛 化 步骤 。 根 据 领域 知识 提供 的 规则 LIGHT (p1, 
p2) 一 SAFE-TO-STACK(p1，p2) ， 目 标 概念 表达 式 SAFE-TO-STACK (x, y) 进行 回归 。 同 样 
LIGHT (x, y) 通过 规则 WEIGHT (p1，wl) ^A WEIGHT (p2, w2) A^ LESS(wl, w2)—LIGHT (pl, p2) 
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归 ， 产 生 的 谓词 显示 在 第 二 层 。 第 三 层 WEIGHT (x, wl) 通过 规则 VOLUME (pl, v1) A 
DENSITY (p1, d1)— WEIGHT (p1, er 回归 ， 所 以 产生 VOLUME (x, v1) 人 DENSITY (x, dl). 
通过 规则 ISA(p2 , ENDTABLE) 一 WEIGHT (p2, 5) 回归  WEIGHT(y,w2) 产生 
ISA (y, ENDTABLE) , LESS (w1，w2) 被 简单 地 加 到 结果 表达 式 ， 因 为 没有 规则 可 以 合 一 。 最 后 ， 
SAFE-TO-STACK (x, y) 的 概念 描述 如 下 : 

VOLUME (x, v1) A DENSITY (x, d1) ALESS (v1*d1, 5) A ISA (y, ENDTABLE) —SAFE-TO - STACK 


(x, y) 
这 个 描述 满足 可 操作 性 。 


Iz] 













































































SAFE-TO-STACK(x. y) 








RI: SAFE-TO-STAC "K(pl, p2) {x /pl, y/p2] 
"T p2) 
LIGHTER(z. y) 
R2: LIGHTER (p1, p2) {x/pl, y/p2] 





WEIGHT(pl, wl) LESS(wl, w2)WEIGHT(p2, w2) 
WEIGHT (z, wi) LESS(wi, w2) WEIGHT íu, w2) 





R3: WEIGHT(pl, vi*d1) R4: WEIGHT{p?2, 5) 
Ix/pl. vl*dl/wl} {y/p2, 5/w2] 





VOLUME( mm dl ISA(p2, ENDTABLE 
VOLUME +, ol) DENSITY Iz, dI )LESS(vi*d1, 5) ISAty, ENDTABLE) 





图 9. 4 SAFE-TO-STACK(0BJ1, 0BJ2) 解释 的 泛 化 过 程 } 


解释 学 习 实际 上 没有 获得 新 知识 ， 而 只 是 把 现 有 的 不 能 用 或 不 实用 的 知识 转化 为 可 用 的 
形式 。 解 释 学 习 系 统 必 须 了 解 目标 概念 的 初始 描述 ， 昌 然 该 描述 是 正确 无 误 的 ， 但 它 是 不 可 
操作 的 。 通 俗 地 讲 ， 这 意味 着 学 习 程 序 不 能 有 效 地 使 用 这 个 描述 来 提高 性 能 ， 也 就 是 说 ， 概 
念 描述 本 身 与 该 种 概念 能 否 使 用 是 不 同 的。 解释 学 习 系统 的 任务 就 是 通过 变换 初始 描述 或 使 
初始 描述 可 操作 化 来 缩小 这 种 差距 。 





























































































































9.3.2 解释 与 泛 化 交替 进行 


1987 年 斯 坦 福 大 学 Hirsh 提出 了 新 的 解释 泛 化 方法 [Hirsh 1987]， 即 将 解释 学 习 中 的 解 
释 与 泛 化 交替 进行 。 

1. 问题 的 逻辑 描述 

学 习 系 统 提供 了 正 向 、 反 向 、 归 纳 等 多 种 推理 方式 。 届 辑 的 表示 方法 使 EBG 的 语义 更 为 
清楚 ， 为 学 习 提 供 了 方便 的 语言 环境 。 例 如 要 学 习 目 标 概 念 Safe-to-Stack (V1，V2) ， 其 领域 
知识 就 可 表示 如 下 : 

事实 知识 

On(objl, obj2) 

Isa(obj2, Endtable) 

Color (objl, red) 

Color (obj2, blue) 


















































237 


ww ai bbt. com [1 [1 0 D D U 


Volme(objl, 1) 
Density(objl, O. 1) 
领域 规则 : 
Not (Fragile(y))—Safe-to-Stack (x, y) 
Lighter (x, y) ~Safe-to-Stack (x, y) 
Volume(pl, vl) ADensity(pl, d1) AX(v1, dl, wl) 
Weight (pl, wl) 
Isa(pl, Endtable) ~Weight (pl, 5) 
Weight (pl, wl) AWeight(p2, w2) A< (wl, w2) 
Lighter (pl, p2) 
2. 产生 解释 结构 
为 了 证 明 该 例子 满足 目标 概念 ， 系 统 从 目标 开始 反 向 推理 ， 根 据 知识 库 中 已 有 的 上 述 事 
实 和 规则 ， 分 解 目 标 。 每 当 使 用 一 条 规则 时 ， 同 时 返回 去 把 该 规则 应 用 到 变量 化 的 目标 概念 
上 。 这 样 ， 在 生成 该 例子 求解 的 解释 结构 的 同时 ， 也 生成 了 变量 化 的 泛 化 的 解释 结构 。 
3， 生 成 控制 规则 
将 泛 化 的 解释 结构 的 所 有 叶 结 点 的 合 取 作 为 前 件 ， 以 顶点 的 目标 概念 为 后 件 ， 略 去 解释 
结构 的 中 间 部 件 ， 就 生成 泛 化 的 产生 式 规 则 。 使 用 生成 的 这 个 控制 规则 求解 类 似 问 题 时 ， 求 
解 速度 快 且 效率 高 。 但 是 简单 地 把 常量 转 为 变量 以 实现 泛 化 的 方法 可 能 过 份 一 般 化 。 在 某 些 
特例 下 可 能 使 规则 失败 。 







































































































































































9.4 全 局 取代 解释 泛 化 方法 


1986 年 DeJong 和 Mooney 提出 全 局 取代 解释 泛 化 (Explanation Generalization using 
Global Substitutions， 缩 写 EGGS) 方法 [DeJong & Moonet 1986]. 7E EBG 方法 中 ， 通 过 实 
例 解 释 结构 的 目标 概念 回归 ， 忽 略 析 取 实现 泛 化 。DeJong 的 EGGS 方法 通过 解释 构造 单元 构 
件 ， 当 解释 合 一 时 这 些 单元 就 连接 起 来 。 

机 器 人 规划 STRIPS 是 第 一 个 进行 泛 化 解释 工作 的 [Fikes，Hart and Nilsson, 1972]. 
STRIPS 是 宏 命令 系统 ， 构 造 和 泛 化 机 器 人 规划 。 当 给 定 要 达到 的 目标 时 ，STRIPS 执行 搜索 ， 
发 现 一 个 操作 序列 ， 将 初始 状态 变换 到 目标 状态 。 初 始 模型 和 目标 如 下 : 

初始 世界 模型 : 

INROOM (ROBOT, Ri) 

INROOM(BOXI, R;) 

CONNECTS (D1, Ri, Rə) 

CONNECTS (D1, Rz, Rs) 

BOX (BOX:) 






















































































(Wx, y, z) [CONNECTS (x, y, 2) = CONNECTS (x, z, y)] 
目标 公式 : 


(ax) [BOX (x) ^A INROOM(x, R1) ] 











STRIPS 采用 的 操作 符 如 下 : 
GOTHRU(D, ri, rə 
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P 


D 


A 





Precondition: INROOM(ROBOT, ri) A CONNECTS (D, ri, r3, 


Delete list: INROOM(ROBOT, ri), 
Add list: INROOM(ROBOT, rə) 
PUSHTHRU(b, d, ri, rə) 


recondition: INROOM(ROBOT, ri) A CONNECTS(D, ri, re) 


^ INROOM(b, ri), 
INROOM (ROBOT, rı) 
INROOM(b, ri), 

dd list: INROOM (ROBOT, rə) 
INROOM(b, rə). 


elete list: 









































* INROOM(ROBOT.R I) 


* CONNECTS(DI,RI,R23)  GOTHRU(DI.RI,R2) 





* INROOM(BOXI.R2) 


* CONNECTS(x,y.z) => 
* CONNECTS (x,z.¥) 





INROOM(ROBK( 











在 STRIPS 中 泛 化 过 程 具 体 构造 泛 化 的 机 器 人 规划 ， 采 用 三 角 表 表示 ， 利 用 归结 证 明 前 题 
条 件 。 图 9.5 给 出 了 描述 操作 符 GOTHRU(d, ri, ro) 和 PUSHTHRU(b, d, ri, r) 的 三 角 表 。 











* CONNECTS(DL,RI,R2) * INANOOM(ROBOT,R32) PUSHTHRU(BOXI1.DI,R2.R1) 


YT.R1) 


INROOM(BOXI,RI)) 














图 9.5 ZAK 
三 角 表 是 有 用 的 ， 它 给 出 了 操作 符 的 前 提 条 件 怎样 取决 于 其 它 操作 符 的 影响 和 初始 世界 
IPS 的 解释 泛 化 算法 如 下 : 


模型 。STR 





for each equality between pi and p; in the explanation structure do 


l 


E 


STRIP 

















eT AH 
STRIPS 产 


et@be the MGU of pi and p; 
or each pattern p. in the explanation structure do 


replace px with p. 0 

















S 使 用 具有 三 角 表 的 解释 泛 化 算法 生成 泛 化 操作 符 序 列 。 第 一 步 ， 对 整个 泛 化 表 用 
变量 代替 和 常量。 第 二 步 ， 根 据 两 条 标准 约束 表 : 一 个 是 保持 操作 符 之 间 的 依赖 关系 ， 男 一 个 











的 操作 符 前 提 条 件 可 被 证 明 ， 这 与 原来 规划 中 前 提 条 件 说 
生 泛 化 如 图 9. 6 所 示 的 泛 化 表 。 
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F 明 一 样 。 通 过 泛 化 处 理 ， 
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* INAOOM(ROBOT,p2) 





* CONNECTS(p3,p2.p5 GOTHRU(p3,p2.p5) 
* INROOM(p6.p5) 
* CONNECTSí(pR,p9.pi] * INROOM(ROBOT,.p5)  PUSHTHRUÍp6,pS.p5,p8) 


* CONNECTS(x.y.z) = 
* CONNECTSíx.z,v) 





INROOM(ROBOT p9) 


INROOMIPG.P9)) 

















图 9.6 泛 化 三 角 表 

DeJong 等 的 学 习 方 法 是 学 习 图 式 (schemata) 。 图 式 的 核心 思想 是 构造 系统 知识 时 ， 要 将 
为 了 达到 一 定 目 标的 相关 知识 放 在 一 个 组 。 图 式 是 一 种 操作 符 的 偏 序 集 ， 简 单 的 图 式 因 果 地 
连 在 一 起 。EGGS 采用 动态 的 可 操作 性 准则 ， 当 系统 学 到 了 一 个 概念 的 一 般 化 图 式 后 ， 该 概念 
就 可 操作 了 。EGGS 的 问题 描述 如 下 : 

给 定 : 

。 领域 理论 : 由 三 部 分 组 成 : 领域 中 对 象 的 种 类 和 特性 的 定义 ; QO 一 组 关于 对 象 特 
生 和 相互 关系 的 推理 规则 ，@ 一 组 问题 求解 的 操作 和 已 知 的 泛 化 图 式 。 

。 目标 : 目标 状态 的 一 般 规约 。 

。 初始 世界 状态 : 关于 世界 及 其 特性 的 规约 。 

。 观察 到 的 操作 /状态 序列 (可 选 ) : 通过 专家 观察 低级 操作 序列 ， 达 到 目标 的 示例 而 获 
得 。 有 时 ， 这 会 漏 掉 一 些 操 作 ， 必 须 从 输入 到 目标 状态 进行 推理 。 
确定 : 
。 达到 目标 状态 的 一 个 新 模式 。 

EGGS 在 泛 化 过 程 中 始终 维护 两 个 独立 的 置换 表 SPECIFIC 和 GENERAL. SPECIFIC 用 于 对 
解释 结构 的 置换 ， 以 得 到 对 具体 实例 的 解释 ， 而 GENERAL. 置换 得 到 泛 化 的 解释 。 假 设 o 是 
SPECIFIC 置换 ，Y 是 GENERAL 置换 ， 那 么 ， 泛 化 过 程 的 形式 化 描述 如 下 ; 


for each equality between expression el and e2 in the explanation structure: 
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if el is the antecedent of a domain rule and e2 is the consequent of a domain 


rule 


then let Ø = the most general unifier of eloand e20 


let o = o Q (* update SPECIFIC substitution) 


let 6 = the most general unifier of el yand e2y 





let y= y6(* update GENERAL substitution) 


else let @ = the most general unifier of elo and e20 
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let o = o Q (* update SPECIFIC substitution) 


基于 上 述 思想 ,Mooney All Bennett 提出 了 EGGS 解释 泛 化 算法 , 这 种 算法 与 抽象 STRIPS $$ 

法 非常 相似 : 
算法 9.1 EGGS 解释 泛 化 算法 。 

let y be the null substitution {}. 


for each equality between pi and pi in the explanation structure do: 











let p; be the result of applying yto pi. 
let p; be the result of applying Y to pj. 


let @be the MGU of p? and pj. 


let y be v 8G 


for each pattern p. in the explanation structure do: 


replace p. with pY. 
9.5 解释 特 化 学 习 方法 


1987 年 卡耐基 - 梅 隆 大 学 的 Minton 和 Carbonell 提出 解释 特 化 (Explanation-Based 
Specialization， 简 写 EBS) 学 习 方 法 [Minton 1987]. 。 他 们 利用 这 种 方法 开发 了 学 习 系 统 
PRODIGY。 它 较 好 地 克服 了 BBG 方法 中 过 份 一 般 化 的 缺点 。 它 从 多 种 目标 概念 学 习 ， 其 解释 过 
程 是 对 每 个 目标 概念 进行 详细 描述 。 解 释 过 程 结束 后 ， 把 得 到 在 有 关 目 标 概 念 的 描述 转换 成 
一 条 相应 的 控制 规则 。 可 以 用 这 些 规则 来 选择 合适 的 结 点 、 子 目标 、 算 子 及 约束 。 有 具体 方法 
如 下 。 

PRODIGY 是 一 种 与 一 些 学 习 模 块 结合 的 通用 问题 求解 器 ， 它 的 体系 结构 如 图 9.7 所 示 。 
基于 操作 符 的 问题 求解 器 ， 对 于 推理 规则 和 操作 符 的 搜索 提供 一 种 统一 的 控制 结构 。 问 题 求 
解 器 包括 一 个 简单 的 理由 维护 子 系统 ， 规 定 有 条 件 影响 的 操作 符 。 问 题 求解 器 搜索 可 以 通过 
控制 规则 导航 。 










































































| 






















































































图 9.7 PRODIGY 体系 结构 








EBL 模块 从 问题 求解 跟踪 获取 控制 规则 。 从 领域 和 问题 求解 器 的 相关 方面 构造 解释 ， 然 
后 结果 表达 式 变 成 搜索 控制 规则 。 派 生 抽 取 模 块 是 派生 类 比 机 。 它 可 以 重播 过 去 类 似 问题 的 
整个 解 。 从 图 9. 7 可 以 看 出 ， 类 比 和 EBL 是 独立 的 机 制 ， 获 取 其 体 领 域 的 控制 知识 。 实 验 学 
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习 模 块 是 为 了 求 精 不 完 








全 的 或 不 正确 的 具体 领域 知识 。 当 规划 执行 控制 器 检测 到 内 部 期 望 与 





























外 部 期 望 不 同时 ， 实 验 








2E 
结果 ， 并 且 进 行 求 精 。 





于 该 领域 的 深度 优先 分 析 ， 领 域 知识 被 分 成 多 个 抽象 级 。 当 问题 求解 时 PRODIGY 生成 














模块 就 被 触发 。 抽 象 产生 器 和 抽象 层次 模块 提供 多 级 抽象 规划 能 力 。 
5 





























PRODIGY 可 以 从 四 种 目标 概念 学 习 ， 这 些 概念 是 : 成 功 、 失 败 、 唯 一 的 选择 、 目标 互相 














制约 。 每 当 用 户 给 定 一 





























个 目标 ， 以 及 它 的 一 个 例子 ， 系 统 先 反 向 分 解 目标 到 叶 节 点 ， 得 到 相 




















应 的 目标 概念 ， 然 后 分 析 问 题 求解 轨迹 ， 解 释 该 例 为 何 满足 这 个 目标 概念 。 














例如 ， 如 果 得 到 了 
概念 的 控制 规则 ， 如 果 
个 目标 的 成 功 须 依赖 别 

1. 解释 过 程 





























解 ， 则 将 学 习 关 于 成 功 概念 的 控制 规则 ;， 如 果 无 解 ， 则 学 习 关 于 失败 
某 个 选择 是 唯一 的 ， 则 学 习 有 关 唯 一 的 选择 概念 的 控制 规则 ， 如 果 某 
的 目标 ， 则 学 习 目 标 互相 制约 概念 的 控制 规则 。 




































































PRODIGY 系统 中 的 解释 过 程 就 是 详细 说 明 的 过 程 。 解 释 是 使 用 训练 例子 提供 的 信息 从 知识 








库 中 寻找 证 明 依据 。 解 
的 每 一 步 ， 都 从 领域 知 



































释 过 程 等 价 于 : 以 目标 概念 为 根 ， 生 成 一 棵 自 顶 向 下 的 证 明 树 。 解 释 
识 库 中 选择 与 所 给 例子 一 致 的 规则 ， 生 成 一 个 结 点 。 每 条 规则 是 对 结 




















点 子 目 标的 详细 描述 。 解 释 算 法 如 下 : 
第 一 步 : 如 果 此 概念 是 原 语 ， 则 没有 规则 列 含 此 概念 ， 则 不 改变 且 返 回 ， 否 则 按 第 二 步 。 





第 二 步 : 访问 与 此 

















概念 相 联 的 识别 器 ( 即 连 接 目标 概念 与 知识 库 的 映射 函数 )， 取 出 与 训 











练 例子 一 致 的 规则 。 规 则 中 每 个 非 负 的 原子 式 为 一 个 子 概念 。 如 果子 概念 没有 被 特 化 过 ， 则 












































特 化 该 子 概 念 ， 且 重新 唯一 地 命名 已 经 特 化 过 的 变量 ， 且 用 特 化 置换 子 概念 并 简化 之 。 








第 三 步 : 返回 。 

这 时 的 目标 概念 已 
此 目标 概念 的 控制 规则 

2. 学 习 控 制 规则 

















在 PRODIGY 中 ， 针 对 四 种 目标 概念 ， 有 四 种 固定 的 控制 规则 模式 。 将 某 个 目标 概念 的 详 








细 描 述 与 规则 模式 匹配 












































是 完全 特 化 过 的 概念 。 用 它们 去 套 相 应 的 规则 模式 ， 便 获得 一 条 对 应 


o 
































， 就 获得 相应 的 控制 规则 。 由 成 功 概 念 学 到 preference rules, EK 
































明 什 么 情况 下 某 选 择 是 成 功 的 。 由 失败 概念 学 到 rejection rules， 它 表明 在 这 种 情况 下 这 种 





选择 应 该 拒绝 。 如 果 其 
下 面 以 失败 概念 为 














它 选择 都 失败 ， 则 选择 是 唯一 的 ， 于 是 学 到 selection rules. 





例 ， 说 明 解 释 过 程 以 及 控制 规则 的 形成 。 领 域 背景 积木 世界 的 动作 规 








划 问 题 。 对 某 个 失败 的 规划 动作 的 学 习 ， 产 和 后 的 解释 如 下 。 
(OPERATOR-FAILS op goal node) if 


(AND (MATCHES op 





(PICKUP x )) 


(MATCHES goal (HOLDING x)) 


(KNOWN node (NOT 


其 中 小 写字 符 是 变 


(ONTABLE x)))) 
量 。 上 式 是 用 领域 知识 库 中 形式 化 的 知识 对 失败 动作 进行 特 化 后 的 结 















































果 。 其 语义 是 ， 如 果 当 前 节点 不 是 “ONTABLE x”， 当 前 算 子 是 “PICKUP x”, J “PICKUP 











x" 是 一 个 失败 算 子 。| 


这 个 失败 概念 学 到 相应 的 rejection rule 是 : 











(REJECT OPERATOR 


(PICKUP x)) if 


(AND (CURRENT-NODE node) 


(CURRENT-GOAL no 


de (HOLDING x)) 


(CANDIDATE-OPERATOR (PICKUP x)) 
(OPERATE-FAILS op goal node)) 














节点 是 (NOT (ONTABLE 
而 且 该 算 子 在 该 节点 和 


其 中 op=(PICKUP x), goal=(HOLDING x), node=(NOT (ONTABLE x)). 。 规 则 含义 是 ， 如果 当 前 


























x) ) ， 当 前 目标 是 (HOLDING x), ， 且 该 节点 上 候选 算 子 是 (PICKUP x), 
该 目标 下 是 失败 的 ， 则 拒绝 算 子 (PICKUP x) 。 
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通过 把 控制 规则 




















传递 到 四 个 策略 上 ， 可 以 动态 地 改善 问题 求解 器 的 性 能 。 这 四 个 策略 是 : 






































选 出 适合 的 子 集 ， 然 
好 的 选择 ， 从 而 达到 
3. 知识 表示 

PRODIGY 的 知识 
述 问题 求解 器 的 推理 















































已 经 进行 了 泛 化 处 理 。 











选择 节点 、 子 目标 、 算 子 和 一 组 约束 的 方法 。 在 以 后 求解 类 似 问 题 时 ， 先 用 selection rules 

















后 用 rejection rules 过 滤 ， 最 后 由 preference rules 寻找 启发 性 最 


减少 搜索 的 效果 。 





库 包 括 领域 层 公 理 和 构筑 层 公 











理 两 类 知识 。 前 者 是 领域 规则 ， 后 者 是 描 















































规则 。 二 者 都 用 陈述 性 逻辑 语言 表示 ， 以 便 扩 展 和 显 式 推 理 。 
PRODIGY 虽然 没有 明显 的 泛 化 过 程 ， 但 其 领域 规则 ， 特 别 是 问题 求解 器 的 推理 规则 实际 上 
它们 不 是 由 最 原始 的 领域 知识 构成 ， 所 以 实际 上 具有 一 定 的 概括 性 。 


















































男 一 方面 ， PRODIGY 是 使 用 特 化 的 方法 由 规则 来 构成 证 明 树 形式 的 解释 ， 所 以 解释 的 结果 所 获 








取 的 描述 是 对 目标 概念 

















的 通用 性 。 





如 前 所 述 ，EBG WET 

















的 特 化， 对 例子 的 泛 化 。 这 样 的 结果 既 保 证 不 过 份 概括 ， 又 具有 一 定 








9.6 解释 泛 化 的 逻辑 程序 











因此 ， 可 以 把 EBG 看 
作 。 

















9. 6. 1 工作 原理 


& Prolog 之 类 的 逻辑 程序 设计 语言 都 是 以 Robinson 提出 的 归结 原理 为 基础 的 。 归 结 原 














E 要 建立 一 个 关于 训练 例 的 解释 结构 。 这 实际 上 是 定理 证 明 问题 ， 




















作 是 Horn 子 句 归结 定理 证 明 的 扩展 ， 把 泛 化 看 作 标准 定理 证 明 的 附带 工 











理 的 本 质 思 想 是 检验 


























短 句 集合 是 否 包含 空 语句 。 实 际 上 ， 归 结 原理 是 一 种 演绎 规则 ， 使 用 它 








能 够 从 短 句 集中 产生 








所 有 的 结果 短 句 。 




















归结 原理 : 设 两 个 短 句 C1、C2 无 公共 变量 ，L1 和 1L2 分 别 是 Cl 和 C2 的 两 个 文字 ， 若 LI 





TI-L2 存在 一 个 最 


的 归结 式 。 

















算法 9.2 Turbo 


般 的 合 一 置换 ， 那 么 子 句 (C1 -LD V (C2 - L2) BUEPIA C fI C2 





























Prolog 的 合 一 算法 。 





(1) 自由 变量 可 


对 于 给 定 目标 ，Turbo Prolog 寻求 匹配 子 名 的 详细 过 程 就 是 合 一 过 程 ， 这 个 过 程 完成 了 
他 程序 设计 语言 中 所 谓 的 参量 传递 。 下 面 是 Turb : 


























o Prolog 的 合 一 算法 。 














以 和 任意 项 合 一 。 合 一 后 该 自由 变量 约束 为 与 之 合 一 的 项 。 














(2) 常量 可 与 自 








身 或 自由 变量 合 一 。 











(3) 若 两 个 复合 


件 是 : 所 有 子 项 能 对 应 合 一 ( 表 看 成 是 特殊 类 型 的 复合 项 )。 约 束 变量 要 用 合 一 后 的 约束 值 巷 


换 。 

















项 的 函 子 相同 且 函 子 所 带 参 量 




















EBG 的 第 一 步 工作 一 一 建立 训练 例 的 解释 结构 ， 











个 数 一 样 ， 则 这 两 个 复合 项 可 以 合 一 的 条 




















就 是 以 训练 例 为 给 定 目标 ， 通 过 搜索 、 匹 

















配 领域 理论 (领域 理论 已 表示 为 Prolog 的 规则 、 事 实 )， 得 到 训练 例 的 一 个 证 明 ， 证 明 它 是 





目标 概念 的 一 个 例子 





。 既 然 如 此 ， 建 立 解释 结构 就 


























法 作为 EBG 算法 实现 的 基础 ， 在 此 基础 上 ， 进 行 EBG 的 第 二 步 泛 化 过 程 。 
Hj Turbo Prolog 实现 EBBG6， 我 们 考虑 把 领域 理 

















训练 例 的 解释 结构 时 



























































需 用 到 合 一 算法 。 基 于 这 一 点 ， 把 合 一 算 

















论 用 内 部 数据 库 的 形式 存 贮 。 这 样 在 建立 


























， 可 以 如 同调 用 谓词 一 样 ， 方 











更 地 查询 数据 库 ( 领 域 知识 )， 搜 索 匹 配 的 
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规则 。 
虽然 Prolog 的 基础 是 合 一 算法 ， 但 用 Prolog 实现 EB6， 仍 需 显 式 地 执行 合 一 算法 ， 这 就 
是 说 要 用 Turbo Prolog 谓词 完成 合 一 算法 ， 应 该 说 ， 这 实际 上 是 元 级 程序 设计 的 思想 。 具 体 
地 ， 我 们 定义 谓词 来 处 理 项 的 合 一 、 项 表 的 合 一 等 等 。 正 是 通过 合 一 ， 完 成 了 训练 例 的 解释 ， 
建立 一 棵 证 明 树 。 
第 三 步 的 泛 化 工作 是 用 目标 概念 回归 (regress) 得 到 的 证 明 树 。 这 个 回归 过 程 包括 常量 
用 变量 代替 ， 以 及 新 项 合成 等 工作 。 用 Turbo Prolog 有 效 地 实现 常量 用 变量 代替 的 过 程 是 有 
困难 的 ， 尤 其 是 当 变量 未 被 约束 时 。 虽 然 已 经 定义 了 谓词 实现 回归 ， 但 如 何 增加 其 通用 性 ， 
更 有 效 地 处 理 多 个 变量 未 被 约束 的 情况 ， 尚 待 进一步 的 工作 去 完成 。 
解释 和 泛 化 是 EBG 的 两 个 阶段 ， 但 容易 想到 的 是 先 解 释 ， 然 后 把 得 到 的 证 明 结 构 交 给 泛 
化 阶段 处 理 。 这 样 不 仅 从 时 间 效 率 上 考虑 ， 两 者 是 串 行 工作 的 ， 而 且 分 开 进 行 ， 需 要 保存 完 
整 的 证 明 树 ， 各 条 路 径 都 需 保 存 。 这 里 ， 我 们 考虑 两 步 交 叉 进 行 。 在 系统 试图 证 明 训练 例 是 
目标 概念 的 一 个 例子 的 同时 ， 从 目标 概念 出 发 ， 向 后 搜索 ， 直 到 训练 例 的 事实 获得 匹配 为 止 。 
在 这 个 过 程 中 ， 每 次 运用 一 个 规则 ， 就 同时 倒 回 去 ， 将 此 规则 不 经 例 示 地 用 于 已 变量 化 了 的 
目标 概念 之 上 ， 从 而 在 建立 训练 例 的 解释 的 过 程 中 同时 建立 起 泛 化 的 解释 结构 。 这 样 ， 就 将 
EBG 的 两 个 阶段 交叉 起 来 。 
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9. 6. 2 元 解释 器 


Prolog 简单 的 元 解释 器 如 下 : 
prolog (Leaf) :-clause (Leaf, true) 
prolog((Goall, Goal2)) :- 
prolog(Goall), 
prolog (Goal2). 
prolog (Goal) :- 
clause (Goal, Clause), 
prolog (Clause) 
在 此 基础 上 ， 使 用 Prolog 构造 元 解释 器 作为 Prolog EBG 的 核心 ， 具 体 程序 如 下 : 
prolog ebg(X Goal, X Gen, [X Goal], [X Gen]:-clause(X Goal, true). 
prolog ebg((X Goal, Y Goal), (X Gen, Y gen), Proof, GenProof) :- 
prolog ebg(X Goal, X Gen, X Proof, X GenProof), 
prolog ebg(Y Goal, Y Gen, Y Proof, Y GenProof), 
concat(X Proof, Y Proof, Proof), 
concat(X GenProof, Y GenProof, GenProof). 
prolog ebg(X Goal, X Gen, [Proof], [GenProof]):- 
clause(X Gen, Y Gen), 
copy ((X Gen:-Y Gen), (X Goal:-Y Goal)), 
prolog ebg(Y Goal, Y Gen, Y Proof, Y GenProof), 
concat([X Goal], [Y Proof], Proof), 
concat([X Gen], [Y GenProof], GenProof). 
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9.6.3 实验 例子 








这 里 通过 “自杀 ”这 个 例子 来 说 明 如 何 实现 EBG. 














目标 概念 : suicide (x). 

领域 理论 :一 组 子 句 或 称 规则 . 

suicide(x):- kill (x, x). 

kill (A, B):- hate(A, B), 
possess(A, C), 





weapon (C). 
hate(A, A):- depressed (A). 
possess(A, C):- buy(A, C) 
weapon (Z) :- gun(Z). 
训练 例 : —— ZH BSE FA). 
depressed (john). 
buy (john, gunl. 
gun(gunl). 
suicide (john). 
可 操作 性 标准 : 暂时 简单 地 处 理 为 静态 标准 。 


operational (depressed). 











operational (gun). 
operational (buy). 
系统 首先 建立 关于 suicide (john) 的 解释 结构 ( 见 图 9.8). 。 由 Prolog 程序 的 解释 机 理 可 
以 得 知 : 建立 解释 结构 采用 的 是 Top-Down 的 推理 策略 。 每 次 运用 规则 时 ， 都 相应 地 将 规则 变 
量化 之 后 用 于 一 般 化 的 解释 结构 上 ， 从 而 在 建立 suicide (john) 的 解释 结构 的 同时 ， 得 到 
suicide (x) 的 泛 化 解释 结构 。 具 体 过 程 如 图 9.9 所 示 。 
suicide(john) 


kill(john john) 


hate(jonn.john) possess(john.gunl)  weapon(gunl) 


depressed(john) ^buy(jonn.gunl) gun(gunl) 


图 9.8 suicide (john) 的 解释 结构 
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9. 9 的 泛 化 过 程 是 通过 回归 实现 的 ， 其 中 要 将 谓词 完成 常量 变量 化 这 一 过 程 。 


goal concept suicide(x) 





uicide(n] — 一 XÍR, 
t 
kill (n.a) 
kill(x.x) 
R2 kill( A,B) { x/A.x/B } 
t 
hnte( A.B) possess( A.C) wenpon(C) 
hate(x.x) possess[x.C ) wenpon( C) 
R 3hnte(A,A) R 4 possess( AZ) R 5 wenpon(Z) 
tf x/A t x/A.Z/C t Z/C 
depressed( A) buy(A.Z) gun(Z) 
depressed (x ] buvíx.Z) 
9.9 目标 概念 suicide (x) 的 泛 化 过 程 









































从 另 一 角度 考虑 实现 EBBG6， 可 以 两 条 线 推进 ， 一 条 是 建立 suicide (john) 的 具体 的 证 明 结 





构 ， 另 一 条 是 从 suicide(z) 出 发 ， 得 到 泛 化 的 解释 结构 。 两 条 线 之 间 的 联系 在 于 具体 例子 选 
用 的 规则 就 是 泛 化 解释 中 要 用 的 规则 。 也 就 是 说 ， 建 立 具 体例 子 解释 时 需要 搜索 问题 空间 ， 
以 试图 找到 合适 的 可 用 规则 ， 而 建立 泛 化 解释 则 可 免 去 搜索 过 程 ， 直 接 使 用 训练 例 解释 时 使 





用 的 规则 。 







































































9.7 基于 知识 块 的 SOAR 系统 








50 年 代 未 ， 对 神经 元 的 模拟 中 发 明了 用 一 种 符号 来 标记 另 一 些 符号 的 存储 结构 模型 ， 这 























是 早期 的 记忆 块 (chunks) 概念 。 在 象棋 大 师 的 头脑 中 就 保存 着 在 各 种 情况 下 对 奕 经 验 的 存储 














块 。80 年 代 初 ，Newell 和 Rosenbloom 认为 ， 通 过 获取 任务 环境 中 关于 模型 问题 的 知识 ， 可 








1987 年 ， 



































以 改进 系统 的 性 能 ， 记 忆 块 可 以 作为 对 人 类 行为 进行 模拟 的 模型 基础 。 通 过 观察 问题 求解 过 
程 ， 获 取经 验 记忆 块 ， 用 其 代替 各 个 子 目标 中 的 复杂 过 程 ， 可 以 明显 提高 系统 求解 的 速度 。 
由 此 黄 定 了 经 验 学 习 的 基础 。 
































斯 坦 福 大 学 Andrew Golding 和 Paul S. Rosenbloom 与 密 西 根 大 学 的 John E. 

















Laird 开发 了 SOAR 系统 。 它 的 学 习 机 制 是 由 外 部 专家 的 指导 来 学 习 一 般 的 搜索 控制 知识 。 外 
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部 指导 可 以 是 直接 劝告 ， 也 可 以 是 给 出 一 个 直观 的 简单 问题 。 系 统 把 外 部 指导 给 定 的 高 水 平 
息 转 化 为 内 部 表示 ， 并 学 习 搜索 记忆 块 。 图 9. 10 给 出 了 SOAR 的 框图 。 
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图 9. 10 SOAR 的 体系 结构 

产生 式 存 储 器 和 决策 过 程 形 成 处 理 结构 。 产 生 式 存储 器 中 存放 产生 式 规则 ， 它 进行 搜索 
控制 决策 分 为 两 个 阶段 。 第 一 阶段 是 详细 推 阁 阶段 ， 所 有 规则 被 并 行 地 用 于 工作 存储 器 ， 判 
断 优 先 权 ， 决 定 哪 部 分 语 境 进行 改变 ， 怎 样 改变 。 第 二 阶段 是 决策 阶段 ， 决 定语 境 栈 中 要 改 
变 的 部 分 和 对 和 象 。 

有 了 时 因 知识 不 完善 ， 无 法 唯一 决策 而 进入 困境 (impass)。 为 了 解决 困境 ，SOAR 自动 建立 
子 目 标 和 新 的 语 境 来 解决 困境 。 选 择 问 题 空间 、 状 态 和 操作 符 ， 创 建 子 目标 。 对 每 个 困境 都 
产生 子 目 标 ，SOAR 问题 求解 能 力 可 以 排除 困境 。 为 了 说 明 SOAR 的 工作 过 程 ， 现 以 九宫 问题 为 
例 ， 其 初始 状态 和 目标 状态 如 图 9. 11 所 示 。 

初始 状态 目标 状态 













































































图 9.11 九宫 问题 的 初始 状态 和 目标 状态 
该 问题 求解 的 过 程 如 图 9. 12 所 示 。 
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|. Gy solve-eight puzzle 
2. P, eight-puzzle sc 


un 





1. Oi place-blank 
5. => Gs (resolve-no-change) 





6. P; eight-puzzle 

7. $i 

B, => Gy (resolve-tie-operator 
9. Ps tie 

10. S; (left.up.down) 

LL. Os evalunte-object(O: (left]) 
12, = Gy (resolve-nc-change) 
13. P. eight-puzzle 

14. S, 

ft Gmi 

17. Oz left 

18. Sy 


19. Sy 
20. Os place-1 


图 9.12 SOAR 求解 九宫 问题 的 过 程 } 

每 当 问 题 求解 器 不 能 顺利 求解 时 ， 系 统 就 进入 劝告 问题 空间 请 求 专家 指导 。 专 家 以 两 种 
方式 给 以 指导 。 一 种 是 直接 指令 式 ， 这 时 系统 展开 所 有 的 算 子 以 及 当时 的 状态 。 由 专家 根据 
情况 指定 一 个 算 子 。 指 定 的 算 子 要 经 过 评估 ， 即 由 系统 建立 一 个 子 目标 ， 用 专家 指定 的 算 子 
求解 。 如 果 有 解 ， 则 评估 确认 该 算 子 是 可 行 的 ， 系 统 便 接 受 该 指令 ， 并 返回 去 求证 用 此 算 子 
求解 的 过 程 为 何 是 正确 的 。 总 结 求证 过 程 ， 从 而 学 到 使 用 专家 劝告 的 一 般 条 件 ， 即 记忆 块 。 

另 一 种 是 间接 的 简单 直观 形式 ， 这 时 系统 先 把 原 问题 按 语 法 分 解 成 树 结构 的 内 部 表示 ， 
并 附 上 初始 状态 。 然 后 请 求 专家 劝告 。 专 家 通过 外 部 指令 给 出 一 直观 的 简单 音量 。 它 应 该 与 
原 问题 近似 ， 系 统 建立 一 个 子 目标 来 求解 这 个 简单 问题 。 求 解 完 后 就 得 到 算 子 序列 ， 学 习 机 
制 通过 每 个 子 目 标 求解 过 程 学 到 记忆 块 。 用 记忆 块 直接 求解 原 问题 ， 不 再 需要 请 求 指导 。 

SOAR 系统 中 的 记忆 块 学 习 机 制 是 学 习 的 关键 。 它 使 用 工作 存储 单元 
(working-memory-elements) 来 收集 条 件 并 构造 记忆 块 。 当 系统 为 评估 专家 的 劝告 ， 或 为 求解 
简单 问题 而 建立 一 个 子 目标 时 ， 首先 将 当时 的 状态 存 入 工作 存储 单元 w-m-e。 当 子 目 标 得 到 解 
以 后 ， 系 统 从 w-m-e 中 取出 子 目标 的 初始 状态 ， 删 去 与 算 子 或 求解 简单 问题 所 得 出 的 解 算 子 
作为 结论 动作 。 由 此 生成 产生 式 规则 ， 这 就 是 记忆 块 。 如 果子 目标 与 原 问 题 的 子 目 标 充 分 类 
似 ， 记 忆 块 就 会 被 直接 应 用 到 原 问 题 上 ， 学 习 策略 就 把 在 一 个 问题 上 学 到 的 经 验 用 到 另 一 个 
问题 上 。 

记忆 块 形成 的 过 程 可 以 说 是 依据 对 于 子 目 标的 解释 。 而 请 示 外 部 指导 ， 然 后 将 专家 指令 
或 直观 的 简单 问题 转化 为 机 器 可 执行 的 形式 ， 这 运用 了 传授 学 习 的 方法 。 最 后 ， 求 解 直 观 的 
简单 问题 得 到 的 经 验 ( 即 记忆 块 ) 被 用 到 原 问 题 ， 这 涉及 到 类 比 学 习 的 某 些 思想 。 因 此 可 以 说 ， 
SOAR 系统 中 的 学 习 是 几 种 学 习 方 法 的 综合 应 用 。 
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9.8 可 操作 性 标准 





可 操作 性 标准 (operationality criterion) 是 EBG 的 一 个 输入 要 求 。 关 于 可 操作 性 标准 ， 
Mitchell, Keller 和 Kedar-Cabelli 指出 :“ 概 念 描述 应 该 表示 为 描述 训练 例 的 那些 谓词 或 其 
他 从 领域 理论 中 挑选 出 来 的 易于 估 值 的 谓词 。 ”显然 ， 这 种 处 理 很 直观 、 简 单 ， 只 需 在 领域 知 
识 中 增加 一 个 谓词 operational (pid) 说 明 哪 些 谓词 是 可 操作 的 即 可 。 但 是 ， 这 种 处 理 是 静 
态 的 ， 远 远 不 能 满足 实用 学 习 系 统 的 要 求 。 所 以 ， 如 何 把 可 操作 性 标准 处 理 成 动态 的 ， 已 经 
越 来 越 为 研究 人 员 重 视 。 比 如 可 以 引入 定理 证 明 机 制 ， 从 而 动态 地 确定 可 操作 性 标准 ， 甚 至 
可 以 用 EBG 技术 动态 地 改变 可 操作 性 标准 。 这 样 动态 地 处 理 ， 要 求 引入 推理 机 制 ， 而 不 再 只 
是 列 出 可 操作 的 谓词 而 已 。 既 然 要 推理 ， 就 需 一 些 规则 、 事 实 (前提 )， 这 就 涉及 到 元 级 
(meta-level) 程 序 设计 的 一 些 技 术 ， 要 求 系统 能 处 理 元 规则 。 但 Turbo Prolog 不 直接 支持 元 
程序 设计 ， 如 果 把 可 操作 性 标准 做 成 动态 的 ， 首 先 要 在 系统 中 实现 一 些 元 级 谓词 ， 使 系统 文 
持 元 级 知识 才 行 。 所 以 ， 我 们 暂时 把 可 操作 性 标准 处 理 为 静态 的 ， 用 数据 库 谓 词 ， 把 事先 规 
定好 的 一 些 谓词 名 ， 存 在 内 部 数据 库 中 。 

是 出 可 操作 性 问题 的 目的 是 希望 学 到 的 概念 描述 有 利于 提高 系统 运行 效率 。 一 种 观点 认 
为 : 如 果 一 个 概念 描述 能 有 效 地 用 于 识别 相应 概念 的 例子 ， 则 它 是 可 操作 的 。 但 是 概念 描述 
不 只 用 于 识别 例子 ， 还 有 空间 指标 等 。 因 此 ， 上 述 观 点 不 完善 。 

Keller 将 可 操作 性 定义 如 下 : 

如 果 给 定 : 

(1) 一 个 概念 描述 。 

(2) 一 个 执行 系统 ， 它 利用 概念 描述 改善 执行 情况 。 

(3) 改善 执行 系统 的 各 种 要 求 ， 应 明确 各 要 求 的 类 型 和 程度 。 

那么 知 满足 下 列 二 条 件 则 该 概念 描述 是 可 操作 的 ; 

() 可 用 性 : 执行 系统 可 以 使 用 该 概念 描述 。 

(2) 效用 性 : 执行 系统 使 用 概念 描述 时 ， 系 统 的 运行 得 到 要 求 的 改善 。 

例如 对 Safe-to-Stack (x, y) 的 一 个 泛 化 解释 结构 如 图 9. 13 AAR. 


















































































































































































































































Safe-to-Stack(x.¥) | 








Lighter(x,v) | 























Weight(x,w) Weight(y, 10) 
P ad Rd 
| Made-ofíx.m) | [Sepe ravíim.d) | 





图 9. 13 可 操作 性 修剪 
解释 结构 中 的 时 节点 都 是 可 操作 的 ， 如 Made-of (x, m) 和 Spec-Grav (m, d) 。 某 些 中 间 节 点 
也 可 能 是 可 操作 的 ， 在 图 中 的 Density (x, d) 是 可 操作 的 。 于 是 得 到 图 中 的 可 操作 性 界限 ， 
中 虚线 以 下 各 节点 是 可 操作 的 。 对 于 可 操作 的 中 间 节 点 ， 可 以 从 解释 结构 中 市 掉 它 的 子 解释 。 
如 图 中 可 删 去 Made-of (x, m) 和 Spec-Grav (m, d) 。 这 称 为 “可 操作 性 修剪 ”。 网 9. 13 的 解释 
经 过 修剪 后 得 到 下 列 规则 ; 
Volume (x, v) A Density (x, d) A X(v, d, w) 
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^ Isa(y,rect-solid) ^ Made-of (y, lucite) 

A< (w, 10) — Safe-to-Stack (x, y) 

关于 可 操作 性 标准 的 处 理 ， 是 一 个 较 复 杂 的 问题 ， 仅 可 操作 性 标准 的 确定 就 可 能 涉及 多 
方面 的 问题 。 这 个 问题 处 理 的 好 坏 又 将 直接 影响 学 习 系 统 的 好 坏 ， 所 以 它 在 学 习 系统 中 是 
个 相当 重要 的 问题 。 

多 数 系统 对 可 操作 性 标准 没有 精确 的 定义 。 许 多 系统 认为 可 操作 性 标准 是 独立 的 、 静 态 
的 。DeJong \& Mooney 等 人 则 提出 静态 标准 是 不 能 满足 需要 的 ， 并 且 用 例子 说 明 可 操作 性 应 
该 是 证 明 结构 的 函数 ， 也 就 是 说 ， 可 操作 性 标准 应 该 是 动态 的 。 比 如 ， 可 以 定义 一 般 化 的 解 
释 结构 的 终结 结 点 的 谓词 是 可 操作 的 ; 也 可 以 应 用 一 个 定理 证 明 机 制 来 决定 可 操作 性 。 进 
步 讲 ， 甚 至 可 以 运用 EBG 来 决定 可 操作 性 。 不 管 怎样 ， 系 统 的 可 操作 性 标准 应 该 反映 计算 的 
代价 及 学 习 的 得 益 ， 尤 其 应 该 确保 时 间 代 价 不 能 高 于 得 益 。 但 是 ， 最 初 的 基于 解释 的 学 习 却 
忽略 了 这 一 点 ， 常 常 认 为 EBL 的 问题 求解 系统 学 到 的 知识 必定 能 改进 系统 的 性 能 ， 但 这 种 认 
识 大 概 是 过 于 乐观 ， 过 于 简单 化 了 。 一 般 来 说 ，EBL 实现 的 是 启发 式 策略 ， 不 能 保证 在 所 有 
环境 下 都 能 使 性 能 得 到 提高 。 例 如 STRIPS MACROPS 的 学 习 实 际 上 降低 了 效率 。 如 果 测 试 
macro-operator 的 前 提 所 需 的 累积 时 间 超 过 了 使 用 macro-operator 减少 搜索 而 节省 的 时 间 ， 
那么 总 的 性 能 是 降低 了 。 所 以 ， 认 为 可 操作 性 完全 独立 于 系统 显然 是 不 符合 所 有 情况 的 。 

Mitchell 等 提出 的 EBG 中 用 显 式 的 可 操作 性 标准 测试 解释 的 可 应 用 性 ， 这 当然 是 很 直 
的 处 理 方法 。 然而 ,如 Dejong 和 Mooney 所 指出 的 , Mitchell 等 提出 的 可 操作 性 标准 只 和 
包括 一 小 部 分 谓词 , 而 且 仅 保证 新 知识 能 够 被 直接 评价 , 不 保证 新 知识 是 否 有 用 。 如 在 EBG ff 
例子 中 ， 可 操作 性 标准 仅仅 要 求解 释 必 须 进行 到 能 直接 计算 或 直接 观察 到 的 属性 才 停止 。 后 
来 的 META-LEX 在 这 个 问题 上 考虑 了 学 习 的 环境 ， 使 测试 一 个 属性 的 代价 随 系 统 的 知识 发 生 
变化 。 于 是 ， 可 操作 性 标准 就 不 再 是 静态 的 ， 而 成 为 动态 的 了 。PRODIGY 更 进一步 改进 了 可 
操作 性 标准 的 定义 。 
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9.8.1 PRODIGY 的 效用 问题 








PRODIGY 系统 是 通过 分 析 经 验 ， 与 专家 交互 来 获取 知识 的 。 该 系统 学 习 的 是 与 问题 求解 
有 关 的 目标 概念 ， 比 如 学 习 successful，unsuccessful，preferred 这 些 目 标 概念 。 典 型 的 
问题 求解 领域 是 机 工 车 间 的 调度 问题 ， 要 求 将 原材料 通过 LATHE, CLAMP, POLISH 等 操作 ， 变 
成 产品 。PRODIGY 的 学 习 任务 是 要 总 结 出 在 什么 情况 下 使 用 茶 个 操作 是 successful 的 或 
unsuccessful 的 。 这 个 系统 的 一 个 特点 是 纳入 了 一 些 控制 规则 ， 用 以 提高 搜索 效率 ， 改 善 问 
题解 的 质量 ， 并 且 能 够 使 某 些 原来 从 效率 角度 考虑 不 加 搜索 的 路 径 得 到 搜索 ，PRODIGY 在 处 
操作 性 标准 时 ， 要 求学 到 的 知识 能 提高 问题 求解 机 制 的 效率 ， 要 求学 到 的 控制 知识 不 仅 
引用 ， 而 且 应 当 是 有 用 的 ， 因 此 ， 这 里 的 可 操作 性 就 需 包 括 可 用 性 : 学 到 的 控制 规则 不 
E 够 执行 ， 而 且 要 能 够 确实 改进 系统 的 性 能 。 具 体 一 点 ， 控 制 规则 的 可 用 性 可 以 定义 如 











































































































































































































































































































Utility=(AvrSavings ApplicFreq) - AvrMatchCost (9. 1) 











E 








AvrMatchCost = 匹配 该 规则 的 平均 耗费 

AvrSavings 应 用 该 规则 时 ， 平 均 节 约 的 时 间 

ApplicFreq 应 用 该 规则 的 频 度 

系统 学 到 一 条 控制 规则 之 后 ，PRODIGY 就 会 在 随后 处 理 问题 的 过 程 中 保留 使 用 该 规则 的 
统计 信息 ， 用 于 决定 其 可 用 性 。 如 果 规 则 的 可 用 性 是 负 值 ， 这 条 规则 就 要 被 放弃 ， 从 这 个 角 
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EG, Æ PRODIGY 系统 
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将 可 用 性 
在 估价 可 操作 性 的 能 











由 入 可 操作 性 标注 





FP 可 操作 怕 





E 很 大 程度 上 是 由 可 























上 定 ， 而 是 在 系统 执行 过 程 中 动态 地 有 














, 

















HAE 















































义 可 操作 性 
于 识别 i 
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但 是 对 于 


训练 例 时 ， 
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也 用 途 ， 比 如 训练 作 



































面 的 效率 可 以 有 
间 效率 上 看 是 可 操作 的 ， 从 3 








是 假设 ) 


日 于 估价 性 能 








] 性 表示 的 ， 由 此 看 来 ， 可 操作 性 
E 其 值 。 


ab 
LAG 





够 


有 助 于 建立 通用 的 基于 解释 的 学 习 系统 的 研究 ， 使 得 系统 
H 何 有 效 地 识别 训练 例 的 角度 来 定 
可 操作 性 定义 假设 概念 
上 的 泛 化 。 二 是 多 数 系 统 中 使 有 
执行 时 间作 为 性 能 好 坏 的 度量 来 估价 可 操作 性 的 。 实 际 上 ， 
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的 好 坏 ， 如 空间 效率 。 党 
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9.8.2 SOAR 系统 的 可 操作 性 

















SOAR 系统 则 采 
bloom 4i 
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Rose 


1 Y ^I] A 
BIA]. SOAR 并 不 是 作为 一 个 EBL ABE 











习 机 制 chunking 做 成 





过 的 信息 。 这 种 机 制 与 EBL 








个 通用 上 











HAK 


可 操作 必 


上 结构 。Ch 
极为 相似 ， 而 











#4 
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IFEK, 
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常 有 这 样 的 情况 出 现 : 从 时 











E 间 效率 上 看 却 不 可 操作 。 除 了 效率 以 外 ， 还 有 代价 、 简 单 度 等 
啊 可 操作 性 。 


标准 的 方法 。SOAR 系统 是 由 Laird, Newell 和 





它 只 是 想 通 过 一 种 独立 的 学 
































通过 Ch 























Chunking 要 求 的 输入 是 操作 符 自 


一 个 宏 操作 符 CREK Chunk ). SOAR 系统 主要 是 通过 Chunking 来 获取 知识 的 ， 因 有 




















FIX H 

















Hkt 


假设 Chunking 是 





各 了 可 用 性 。 一 是 由 了 
完成 一 项 人 有 
性 能 公式 应 该 很 合算 。 




















9.8.3 MRS-EBG 的 可 操作 性 


Hirsh Æ MRS 逻辑 程序 设计 系统 下 实现 EBG 时 ， 由 MRS 的 元 推理 









































unking 操作 就 是 在 处 理 每 个 子 目 标 时 总 结 考查 
unking 似乎 可 以 在 SOAR 4 








实现 EBL. 











序列 或 树 形 序列 。 系 统 的 人 








ES 


















































1 自动 完成 的 ， 二 是 由 于 SOAR 系统 
E 务 所 需 做 的 抉择 次 数 来 衡量 的 。 既 然 Chunking 可 能 减少 所 需 的 抉择 次 数 ， 按 照 
日 实 际 上 ， 每 次 抉择 本 身 就 可 能 包含 复杂 的 过 程 ， 
因而 抉择 次 数 并 不 与 实际 的 主机 执行 时 间 成 ] 


E 务 是 把 这 一 串 操作 符 转 化 成 
比 就 有 意 忽 


的 性 能 是 | 


























没有 考虑 这 一 点 ， 














LE 机 制 想 到 将 可 操作 性 标 








准 处 理 为 可 证 明 的 。 在 MRS 中 ， 证 明 策 略 能 够 用 元 级 的 理论 来 说 明 。 举 例 来 说 ， 元 规则 可 以 
用 来 说 明 这 样 的 规则 : 选择 一 条 使 用 了 算术 谓词 的 证 明 路 径 的 可 能 性 更 大 一 些 。MRS AS 
的 谓词 就 可 以 说 明 这 种 属性 ， 因 此 很 容易 说 明 如 下 的 可 操作 性 规则 ; 














[E 


Arithmetic Predicates(pred(argl, argn)) -operational (pred (argl, arg5) ) 


Hirsh 认为 以 前 的 E 
E 解 释 结 构 时 没有 进行 可 操作 怕 
解释 结构 。 泛 化 这 一 步 使 用 
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的 推理 














BG 算法 ， 都 同时 产生 例子 的 解释 结构 和 泛 化 的 解释 结构 。 但 是 ， 在 六 








E， 而 是 在 随后 的 泛 化 那 












































来 形成 规则。 这 样 一 来 ， 尽 管 多 数 泛 化 的 工作 是 在 解释 
能 结合 起 来 。 
在 MRS-EBG 中 ， 可 操作 性 是 在 解释 过 程 中 确定 的 ， 一 旦 某 
而 终结 ， 就 立即 进行 回溯 ， 寻 找 该 分 支 的 另 一 能 够 产生 一 可 操作 的 概念 定义 的 说 
最 终 一 定 能 得 到 目标 概念 的 可 操作 性 描述 。 



































可 操作 性 来 对 泛 化 了 的 解释 结构 进行 删 减 ， 然 后 使 用 
过 程 中 完成 的 ， 但 解释 和 泛 化 仍然 没 














步 ， 才 决定 可 操作 性 并 修改 
得 到 的 结构 
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ai bbt. com 0000000 


分 支 由 于 没有 可 操作 的 定义 
E 明 。 这 样 ， 
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9.8.4 META-LEX 的 处 理 方法 





























在 Metalex 系统 中 ， 可 操作 性 的 处 理 考 虑 了 系统 的 性 能 因素 。 基 本 想法 是 通过 经 验 来 评 
佑 可 操作 性 : 在 系统 中 使 用 概念 描述 ， 然 后 看 系统 的 行为 是 否 达到 了 事先 提出 的 系统 目标 。 
Metalex 要 学 习 的 ， 是 在 向 前 搜索 中 有 用 问题 求解 步骤 的 集合 ， 或 者 说 是 这 个 集合 的 描述 。 如 
果 系 统 的 性 能 没 能 达到 所 希望 的 水 平 ，Metalex 能 够 估计 出 该 描述 差 多 少 就 能 说 是 可 执行 的 
了 ， 并 且 能 说 明 这 种 搜索 方向 是 否 合适 。 这 种 估价 可 操作 性 的 办 法 是 动态 的 ， 因 为 它 取 决 于 
当前 状态 和 当前 的 性 能 目标 ， 另 外， 这 种 估价 产生 出 效率 的 量度 和 有 效 度 。 但 是 这 种 处 理 的 
代价 很 高 ， 因 为 每 次 需要 估价 可 操作 性 时 都 必须 测试 系统 。 

可 操作 性 对 于 基于 解释 的 学 习 系 统 是 至 关 重 要 的 。 但 是 ， 目 前 检测 可 操作 性 的 方法 决定 
于 能 和 否 简化 系统 的 性 能 假设 〈 这 些 假设 很 容易 在 学 习 过 程 中 被 破坏 )。 尽 管 在 这 方面 国内 外 的 
研究 人 员 一 直 在 寻找 有 效 的 处 理 方法 ， 但 多 数 只 是 处 于 理论 研究 阶段 ， 应 用 于 实际 系统 中 的 
尚未 达到 令 人 满意 的 程度 。 因 此 ， 这 方面 的 工作 仍 有 待 于 进一步 的 研究 。 





































































































































































































































































































9.9 不 完全 领域 知识 下 的 解释 学 习 


9. 9. 1 不 完全 领域 知识 


解释 学 习 中 一 个 重要 的 问题 是 领域 知识 。 领 域 知识 作为 解释 学 习 的 前 提 ， 要 求 是 完整 的 、 
正确 的 。 但 是 这 种 要 求 在 现实 世界 的 许多 问题 中 很 难得 到 满足 。 在 实际 中 往往 出 现 领域 知识 
不 完整 、 有 错误 等 情况 。 领 域 知识 不 能 解释 训练 例 ， 那 么 现 有 的 EBG 算法 就 将 失效 。 
领域 知识 的 不 完善 性 可 有 下 列 三 种 情况 : 
* 不 完整 (incomplete): 领域 知识 中 缺少 规则 、 知 识 ， 因 而 无 法 给 出 训练 例 的 解释 。 
”不 正确 (incorrect): 领域 知识 中 有 些 规则 不 合理 ， 因 而 可 能 导致 训练 例 的 错误 解释 。 
。 难处 理 的 (intractable) : 领域 知识 过 于 繁杂 ， 使 得 建立 训练 例 的 解释 树 所 需 的 资源 
超出 现 有 机 器 的 资源 。 
为 了 解决 不 完善 领域 知识 的 问题 ， 我 们 对 逆 归 结 、 基 于 深层 知识 等 方法 ， 作 了 有 益 的 学 
试 。 















































































































































9. 9. 2 道 归 结 方法 




















阶 谓词 逻辑 中 归结 原理 是 机 器 定理 证 明 的 基础 ， 也 是 目前 解释 学 习 中 建立 解释 的 主要 
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途径 。 

归结 原理 : 设 C,，C; 是 两 个 子 句 ， 无 公用 变量 ,Li，L: 分 别 是 Cr CPAP PCE, FE 
一 个 最 一 般 的 合 一 者 0 ， 则 子 句 

C= = {h})o U (G- {L:}) o (9. 2) 

称 为 Co Co 的 归结 子 句 。 

在 逆 归 结 (inverting resolution) 中， 讨论 已 知 C 和 C, WME C. 的 问题 。 在 命题 
逻辑 中 ，5 二 下， 所 以 归结 子 句 的 式 (9. 2) 可 以 转换 为 : 
C =(CU C) - {L，D] (9. 3) 




















由 式 (9. 3) 可 以 得 到 : 


cma 





252 
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(zcongosoO, MCG = (CC) U {L2} 








(2 若 C1 由 Cs ED, mH C = 人 的 任意 子 集 


Cai = (C = C) U {Lo} U Si 
其 中 Si EP (Ci {Li}, P(x) 表示 集合 x IgE. 
显然 WER C 中 有 n 个 文字 ，C: 就 有 2n-1 个 解 。 

















, 因此 ， 一 般 情况 下 有 : 





(9. 4) 


在 阶 谓词 逻辑 中 ， ^ c = 06105 其 中 s 6 满足 下 列 条 件 : 
(D 61, e» 的 变量 域 分 别 为 C. 的 变量 域 和 Co 的 变量 域 ， 























(2) L 6; = L, 6; 
则 可 以 得 到 : 





G = (C(G-(L))e)e; U (L)e:e;" 


= ((C- (G-(600) U (Z)o))e7 
M C1 是 单元 子 句 ， BU Ci = {Li} 时 ， 可 以 得 到 


C = (C U{L vere, 











(9. 5) 


(9. 6) 








这 里 6， 是 道 置 换 。 所 谓 逆 置换 ， 是 指 给 定 项 或 文字 t 及 置换 o. FEER o7, d 



























































Æ too! = to 进一步 讲 ， dio = {vi/tis ttg Va/ tnb; 那么 ， 


o! = {(ti, (Pii Pi mt) /vi Att (tn， {Pn, 1， 















































Py, mn} /Vn) (9. 7) 


EP Pig ve t 中 变量 vi 的 位 置 。 道 归结 就 是 将 t P {Pio …，Pie}j 处 的 所 有 ti HEBR vio 





解释 学 习 是 从 目标 概念 的 初始 描述 出 发 ， 利 用 领域 知识 〈 以 知识 库 形式 存储 )， 建 立 关 于 


















































训练 实例 的 解释 树 。 这 个 过 程 通常 


Ne 


J 目标 驱动 的 推理 方式 。 














当 解 释 过 程 由 于 缺乏 某 条 规则 而 


























无 法 继续 下 去 时 ， 学 习 过 程 即 告 失败 。 这 里 采用 逆 归 绪 方 法 克服 这 个 问题 [ 马 海 波 1990]. 
我 们 采用 产生 式 规则 表示 领域 知识 (知识 库 )， 算 法 需要 对 知识 库 进行 预 处 理 ， 产 生 一 个 



































规则 间 的 依赖 表 。 这 样 ， 对 算法 而 言 ， 拥 有 的 领域 知识 包括 
































一 组 产生 式 规则 和 一 个 依赖 表 。 








依赖 表 是 知识 库 中 规则 、 谓 词 间 联 系 的 一 种 表示 形式 ， 
义 信 息 。 我 们 通过 一 个 简单 的 例子 来 说 明 依赖 表 的 结构 。 

知识 库 : 

Rule 1. Sentence (S0, S):- noun-phrase(SO, S1), 

verb-phrase(S1, S). 
Rule 2. noun-phrase (S0, S):-determiner (S0, S1), 
noun (S1, S). 

Rule 3. noun-phrase(S0, S) :-name (S0, S). 

Rule 4. verb-phrase (S0, S):-intransitive-verb (S0, 

依赖 表 如 下 : 





se 
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它 包含 着 规则 ， 谓 词 间 相 关 的 语 
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谓词 符号 Head Body 基本 谓词 
sentence 1 intransitive-verb, 
name, 
determiner, noun. 
noun-phrase 2.3 L name, determiner, 
noun. 
verb-phrase 4 1 intransitive-verb. 









































其 中 基本 谓词 就 是 满足 可 操作 性 标准 的 谓词 ， 第 一 列 则 全 是 非 可 操作 的 谓词 。 至 于 构造 














此 依赖 表 的 算法 ， 这 里 不 作 详 细 叙 述 。 下 面 给 出 两 个 算法 ， 完 成 解释 学 习 过 程 。 








算法 9.3 解释 树 算法 生成 算法 。 
(1) 对 目标 概念 开始 








(2) 遇 到 失败 结 












































改 逆 向 推理 ， 逐 渐 扩 展 解释 树 ， 该 解释 树 是 一 棵 与 或 树 。 
点 ， 调 用 逆 归 结算 法 。 
(3) 分 析 得 到 的 完整 解释 树 ， 进 行 泛 化 ， 得 到 目标 概念 的 新 描述 。 
算法 9.4 逆 归 结算 法 。 


(1) 若 当 前 失败 结 点 FE 是 可 操作 的 ， 回 溯 ， 若 当前 失败 结 点 F 不 可 操作 ， 转 到 (2) 。 


(2) SAP 的 父 











径 〈 即 是 否 有 或 结 点 存在 )。 没 有 ， 转 到 (4 。 











(3) 对 依赖 表 中 
否 被 训练 实例 满足 。 








。 若 存 在 满足 训练 例 的 路 径 ， 则 选择 此 路 径 ， 完 成 解释 树 ， 结 束 算 法 。 























Pred 的 



































结 点 了 对 应 的 谓词 符号 为 Pred， 利 用 依赖 表 ， 检 查 Pred 是 否 有 其 他 路 








其 他 路 径 《〈 或 结 点 )， 检 查 其 对 应 的 可 操作 谓词 《基本 谓词 ) 是 











。 依赖 表 中 Pred 的 其 他 路 径 〈 或 结 点 ) 对 应 的 可 操作 谓词 (基本 属性 〉 与 训练 例 冲 突 
或 不 为 训练 例 具 备 ， 转 到 (4) 。 




















(4) 先 对 结 点 P 除 结 点 F 以 外 的 子 结 点 进行 推理 , 所 有 子 结 点 处 到 
用 未 使 用 的 训练 属性 , 采用 逆 归 结 的 方法 , 得 到 节点 F 与 剩余 属性 间 的 一 条 伪 规 则 ， 


(5) 









































完成 整个 解释 树 的 建立 过 程 ， 结 束 算法 。 


这 里 描述 的 算法 ， 能 够 在 领域 知识 不 完全 的 情况 下 进行 角 
1 果 领 域 知识 过 于 零散 ， 未 能 构成 较为 完整 的 知 
诸如 归纳 、 类 比 等 其 他 学 习 方 


必须 是 个 别 规则 的 缺 


法 。 
最 后 要 指出 的 一 


^b, 


无 能 为 力 ， 而 需要 求助 于 建立 知识 库 的 方法 和 工具 ， 或 者 采用 












































点 是 ， 算 法 虽然 完成 解释 学 习 ，ff 











不 精确 因素 ， 因 而 会 








不 同 程度 地 影响 整个 解释 树 的 真实 怕 

















能 对 解释 树 加 入 可 信和 度 ， 在 学 习 的 后 一 步 进 行 概 括 时 考虑 到 可 信 度 的 取 值 、 传 递 ， 就 可 以 区 





别 那些 完全 领域 的 学 习 。 





9. 9. 3 基于 深层 知识 方法 


故障 诊断 领域 的 知识 经 常 是 不 完善 的 。 如 何 完 善 故障 诊 此 
题 。 因 此 ， 我 们 提出 了 一 种 用 于 精 馏 系统 故障 诊断 系统 中 的 基 
1994) 。 该 模型 分 四 阶段 : 实例 解释 、 猜 想 4 
断 的 故障 ， 在 获得 新 知识 以 后 可 进行 正确 的 诊断 。 使 月 





知识 库 的 知识 不 能 诊 




















学 习 模 型 的 系统 学 习 过 程 可 概述 如 下 : 
(1) 由 环境 提供 一 实例 。 





(2) 实例 解释 阶 
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Bt: 系统 使 用 基于 解释 的 学 习 方法 对 该 实例 进行 解释 。 角 
成 功 ， 有 可 能 失败 。 成 功 是 指 用 系统 现 有 的 领域 知识 就 可 以 说 明 。 失 败 是 指 
































成、 猜想 确立 和 
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LE 完 之 后 ， 








曙 释 学 习 ， 但 领域 知识 的 不 完全 
we 


吉 构 ， 此 算法 将 


YN =| 











回 到 结 点 F。 














毕竟 由 于 有 规则 缺少 ， 处 理 时 引入 了 
E， 不 能 保证 解释 过 程 的 永 真 。 如 果 





的 知识 库 是 一 个 急 待 解决 的 问 
于 深层 知识 的 学 习 模 型 ( 吕 雄 英 
广 。 应 用 此 模型 可 以 发 现 现 有 


























基于 深层 知识 的 


孚 释 过 程 有 可 能 























TRAMA KY 























域 知识 ， 无 论 如 何 ， 也 不 可 以 说 明 。 成 功 则 进入 (5) 推广 。 失 败 则 进入 (3) 猜想 生成 。 解 释 用 
解释 树 来 表示 。 成 功 则 表示 有 一 棵 完整 的 解释 树 。 失 败 则 表示 解释 树 不 完整 ， 树 上 有 断口 。 

(3) 猜想 生成 阶段 ; 系统 试图 确立 自身 相对 于 当前 实例 的 知识 断口 ， 即 确定 出 在 什么 地 
方 缺少 知识 。 当 找到 知识 断口 后 ， 建 立 一 个 有 可 能 弥补 该 断口 的 猜想 ， 该 猜想 的 目标 端 由 断 
口 的 目标 端 充任 ， 该 猜想 的 数据 端 由 输入 实例 的 数据 端 充 任 。 然 后 进入 C) 猜想 确立 。 
(4) 猜想 确立 阶段 调用 深层 知识 库 。 在 深层 知识 库 中 寻找 猜想 的 目标 端 与 数据 端 之 间 
的 某 种 内 部 联系 ， 即 试图 确立 猜想 的 目标 端 与 数据 端 在 深层 知识 中 是 否 具 有 共同 的 属性 。 确 
立 可 能 成 功 ， 也 可 能 失败 。 若 失败 ， 退 回 (3) 猜想 生成 ， 重 新 获得 新 的 猜想 。 若 成 功 ， 进 入 (5) 
推广 























































































































































































































































































































(5) 推广 : 将 已 确立 的 猜想 加 以 推广 。 推 广 的 结果 是 : 得 到 若干 具有 广泛 适应 面 的 猜想 。 
推广 过 程 分 为 两 个 阶段 。 第 一 阶段 将 猜想 中 的 常数 最 大 限度 地 变量 化 。 第 二 阶段 对 猜想 执行 
U-, d 






















































































概念 推广 ， 得 到 一 个 或 多 个 不 同一 般 级 别 的 概念 。 
(6) 将 推广 的 结果 交 执 行 单元 使 用 。 




















习 题 


























1. 何谓 基于 解释 的 学 习 ? 与 归纳 学 习 相 比 ， 解 释 学习 的 优点 和 缺点 是 什么 ? 

2. 简 述 解释 学 习 涉及 的 三 个 不 同 的 空间 ， 以 及 三 个 空间 的 相互 关系 。 

3. 阐述 基于 解释 的 泛 化 过 程 ， 并 重点 说 明 目 标 概念 、 训 练 例子 、 领 域 理 论 和 可 操作 准则 在 
这 种 学 习 过 程 中 的 作用 。 

4. 比较 解释 泛 化 学 习 方法 和 解释 特 化 学 习 方法 的 基本 思想 。 

5. 在 你 选择 的 一 些 问题 领域 建立 基于 解释 的 学 习 的 领域 理论 。 对 几 个 训练 实例 运用 这 些 理 
论 ， 说 明基 于 解释 的 学 习 程 序 的 行为 。 

6. 试 述 可 操作 性 标准 的 含义 ， 以 及 将 可 操作 性 标准 处 理 成 动态 的 方法 。 

T. 简 述 在 不 完全 领域 知识 下 的 解释 学 习 解 决策 略 。 

8. ”假设 C=Son (Bob, Ram), Cl=—Daughter (Bob，Ram) ， 使 用 归纳 逻辑 程序 设计 原理 ， 确 定子 
J C2。 
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BTE ”强化 学 习 


10.1 HE ^ 











人 类 通常 从 与 外 界 环境 的 交互 中 
到 行为 映射 






































的 学 习 ， 以 使 系统 行为 从 环境 中 获得 的 累积 


学 习 。 所 谓 强 化 (reinforcement) 学 习 是 指 从 环境 状态 
励 值 最 大 。 在 强化 学 习 中 ， 我 们 设 





计算 法 来 把 外 界 环境 转化 为 最 大 化 奖励 量 的 方式 的 动作 。 我 们 并 没有 直接 告诉 主体 要 做 什么 























或 者 要 采取 



































search) 和 延 
强化 学 习 不 是 通过 特殊 的 学 习 方 法 3 











哪个 动作 ,而 是 主体 通过 看 哪个 动作 得 到 了 最 多 
影响 不 只 是 立即 得 到 的 奖励 , 而 且 还 影响 接 下 来 的 动作 和 最 终 的 奖 
期 强化 (delayed reinforcement) ix Py 4 FH] 











是 强化 学 习 中 两 





的 奖励 来 














自己 发 现 。 
励 。 试 错 搜索 (trial-and-error 
个 最 重要 的 特性 。 


定义 的 , 而 是 通过 在 环境 中 和 响应 外 界 环 





主体 的 动作 的 





境 的 动作 来 定义 的 。 任 何 解决 这 种 交互 的 学 习 方 法 都 是 一 个 可 接受 的 强化 学 习 方 


























法 。 强 化 学 习 也 不 是 监督 学 习 ， 在 我 们 有 关机 器 学 习 的 部 分 我 们 都 可 以 看 出 来 。 


在 监督 学 习 中 ,“ 教 师 ” 用 实例 来 直接 指导 或 者 训练 学 习 程序 。 在 强化 学 习 中 ， 学 








习 主 体 自身 通过 训练 ， 误 差 和 反馈 ， 学 习 在 环境 中 完成 目标 
强化 学 习 技术 是 从 控制 理论 、 统 计 学 、 心 型 

















的 最 














甫 洛 夫 的 条 件 反 射 实验 。 但 直到 上 世纪 八 十 年 代 末 、 九 十 年 代 初 强化 学 习 














机 器 学 习 和 自动 控制 等 领域 中 


























。 特 别 是 随 着 强化 学 习 的 数学 基础 























开展 起 来 ， 成 为 目前 机 器 学 习 领 域 的 研 


强化 思想 最 先 来 源 于 心 到 





























究 取得 突破 性 进 
究 热点 之 一 。 
里 学 的 研究 。1911 年 Thorndike 提出 了 效果 得 
一 定 情景 下 让 动物 感到 舒服 的 行为 ， 就 会 与 此 情景 增强 联系 〈 强 化 ) ， 当 此 情景 





得 到 广泛 研究 和 应 用 ， 并 被 认为 是 设计 智能 系统 的 核心 技术 之 


TERIS. 


学 等 相关 学 科 发 展 而 来 ， 最 早 可 以 追溯 到 巴 








技术 才 在 人 工 智能 、 




















展 后 ， 对 强化 学 习 的 研究 和 应 用 











im. 





E (Law of Effect) : 

















再 现时 ， 动 








物 的 这 种 行为 也 更 易 再 现 ， 相反 ， 让 动物 感觉 不 舒服 的 行为 ， 会 减弱 与 情景 的 联系 ， 此 情景 




















再 现时 ， 此 行为 将 很 


行为 产生 的 效果 。 














再现。 换个 说 法 ， 哪 种 行为 会 “ 记 住 ”， 会 与 刺激 建立 联系 ， 取 决 于 


这 也 称 为 动物 的 试 错 学 习 (trial-and-error learning) ， 包 含 两 个 含义 : 选择 
(selectional) 和 联系 (associative) ， 对 应 计算 上 的 搜索 和 记忆 。 所 以 ，1954 年 ，Minsky 
在 他 的 博士 论文 中 实现 了 计算 上 的 试 错 学 习 。 同 年 ，Farley 和 Clark 也 在 计算 上 对 它 进 行 了 





















































研究 。 强化 学 习 一 词 最 早出 现 于 科技 文献 是 1961 年 Minsky 的 论文 “Steps 
Intelligence”， 此 后 开始 广泛 使 用 。1969 年 ， Minsky 
算 机 图 灵 奖 。 














Farley 和 Clark 在 1994 年 和 1995 年 用 试 错 学习 来 做 泛 化 和 模式 识别 ， 从 此 开始 了 强化 
学 习 和 指导 学 习 的 混淆 。 直 到 最 近 ， 神 经 网 络 的 书 还 说 它 是 一 个 试 错 学 习 系 统 ， 
过 输出 误差 来 调整 权重 ,但 是 他 们 忽略 了 试 错 的 一 个 重要 特性 ， 选择。 





























20 世纪 60、70 年 代 ， 指 导 学 习 得 到 
习 处 于 低潮 期 ， 一 是 混淆 了 强化 学 习 和 指导 学 
后 者 相对 简单 一 些 ， 























256 








iz WR 


jj, UA WEE EB. KEE 
后 者 有 教师 一 一 训练 例子 ， 而 前 者 没有 。 








Toward Artificial 


办 在 人 工 智能 方面 的 贡献 而 获得 计 














因为 它 是 通 











究 ， 如 神经 网 络 、 统 计 学 习 等 。 强 化 学 
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完 后 者 ;二 是 

















试 错 学 习 的 研究 不 象 时 间 差 分 和 最 优 控制 学 习 那 样 突出 。 时 序 差 分 (temporal 
difference) 学 习 基 于 时 间 序 列 上 对 同一 个 量 相继 两 个 估计 的 差 ， 它 的 起 源 是 心理 学 上 的 次 
强化 物 (secondary reinforcer) 。 原 强化 物 (primary reinforcer) : 直接 满足 个 体 需 求 
的 刺激 ， 如 食物 等 ， 次 强化 物 : 经 学 习 而 间接 使 个 体 满 足 的 刺激 物 ， 如 奖状 、 金 钱 等 。 

最 早 把 这 个 心理 学 原理 引入 人 工学 习 系统 的 还 是 1954 年 的 Minsky。1959 fE, Samuel 在 
他 著名 的 跳棋 游戏 中 也 应 用 了 时 序 差 分 的 思想 。1972 4E, Klopf 把 试 错 学 习 和 时 序 差分 结合 
在 一 起 。1978 年 开始 ，Sutton、Barto、 Moore， 包 括 Klopf 等 对 这 两 者 结合 开始 进行 深入 研 
究 。 

最 优 控制 于 50 年 代 提 出 : 为 动态 系统 设计 一 个 控制 器 ， 在 从 初 态 转 移 到 终 态 时 ， 保 证 系 
统 的 某 个 性 能 指标 保持 最 小 值 〈 或 最 大 值 ) 。1953 到 1957 年 ，Bellman 提出 了 求解 最 优 控制 
问题 的 一 个 有 效 方法 : 动态 规划 (dynamic programming) ，【〔 男 一 个 有 效 方法 是 苏联 庞 特 里 
雅 金 等 人 于 1956-1958 提出 的 最 大 值 原理 ) 。 动 态 规划 在 随后 的 四 十 年 里 得 到 的 深入 的 研究 ， 
特别 是 在 自动 控制 领域 。 

Bellman 于 1957 年 还 提出 了 最 优 控制 问题 的 随机 离散 版 本 , 就 是 著名 的 马尔 可 夫 决 策 过 
Fé (MDP, Markov decision processe) , 1960 年 Howard 提出 马尔 可 夫 决 策 过 程 的 策略 迭代 
方法 ， 这 些 都 成 为 现代 强化 学 习 的 理论 基础 。 
真正 把 时 序 差分 和 最 优 控制 结合 在 一 起 的 是 1989 年 Watkins 提出 了 0-73 [Watkins 
1989]， 也 把 强化 学 习 的 三 条 主线 扭 在 了 一 起 。1992 年 ，Tesauro 用 强化 学 习 成 功 了 应 用 到 西 
洋 双 陆 棋 Chackgammon) 中 ， 称 为 TD-Gammon[Tesauro 1992]。 从 此 开始 了 强化 学 习 的 深入 研 


AYN 


Flo 



















































































































































































10.2 强化 学 习 模 型 














强化 学 习 的 模型 如 图 10. 1 所 示 , 通过 主体 与 环境 的 交互 进行 学 习 。 主体 与 环境 的 交互 接 
包括 行动 CAction) 、 奖 励 (Reward) 和 状态 (State) 。 交 互 过 程 可 以 表述 为 如 下 形式 : 
每 一 步 ， 主 体 根据 策略 选择 一 个 行动 执行 ， 然 后 感知 下 一 步 的 状态 和 即时 奖励 ， 通 过 经 验 再 
修改 自己 的 策略 。 主 体 的 目标 就 是 最 大 化 长 期 奖励 。 






















































































图 10.1 强化 学 习 模 型 

强化 学 习 系 统 接受 环境 状态 的 输入 s, 根据 内 部 的 推理 机 制 , 系统 输出 相应 的 行为 动作 ao 
环境 在 系统 动作 作用 a 下 ， 变 迁 到 新 的 状态 s'。 系 统 接受 环境 新 状态 的 输入 ， 同 时 得 到 环境 对 
于 系统 的 瞬时 奖惩 反馈 >。 对 于 强化 学 习 系统 来 讲 ， 其 目标 是 学 习 一 个 行为 策略 x: S 一 4， 使 
系统 选择 的 动作 能 够 获得 环境 奖励 的 累计 值 最 大 。 换 言 之 ， 系 统 要 最 大 化 10.1 式 ， 其 中 ) 为 
折扣 因子 。 在 学 习 过 程 中 ， 强 化 学 习 技术 的 基本 原理 是 : 如 果 系 统 某 个 动作 导致 环境 正 的 奖 
励 ， 那 么 系统 以 后 产生 这 个 动作 的 趋势 便 会 加 强 。 反 之 系统 产生 这 个 动作 的 趋势 便 减弱 。 这 
和 生理 学 中 的 条 件 反 射 原理 是 接近 的 。 
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yh. WSF (10.1) 











如 果 假 定 环境 是 马尔 可 夫 型 的 , 则 顺序 型 强化 学 习 问 题 可 以 通过 马尔 可 夫 决 集 
过 程 建 模 。 下 面 首先 给 出 马尔 可 夫 决 策 过 程 的 形式 化 定义 。 

马尔 可 夫 决 策 过 程 由 四 元 组 <$，A4，R，P> 定 义 。 包 含 一 个 环境 状态 集 S， 系 统 行 为 集合 
4， 奖励 函数 RSx4 一 央 和 状态 转移 函数 P: Sx4 一 PD CS). WR Gs, a, S) 为 系统 在 状态 




















s 采用 a 动作 使 环境 


动作 使 环境 状态 转移 到 s' 的 概率 。 























状态 转移 到 s' 获 得 的 瞬时 奖励 值 ， 记 P Gs. a. SO 为 系统 在 状态 s XH a 


























马尔 可 夫 决 策 过 程 的 本 质 是 : 当前 状态 向 下 一 状态 转移 的 概率 和 奖励 值 只 取决 于 当前 状 
































态 和 选择 的 动作 ， 而 与 历史 状态 和 历史 动作 无 关 。 因 此 在 已 知 状态 转移 概率 函数 P 和 奖励 函 
数 R 的 环境 模型 知识 下 ， 可 以 采用 动态 规划 技术 求解 最 优 策略 。 而 强化 学 习 着 重 研 究 在 P ER 


BUA R 函数 未 知 的 情况 下 ， 系 统 如 何 学 习 最 优 行为 策略 。 



































图 10.2 强化 学 习 四 要 素 








为 解决 这 个 问题 ， 图 10.2 中 给 出 强化 学 习 四 个 关键 要 素 之 间 的 关系 ， 即 策略 x ， 状 态 值 
De V, 奖励 函数 z， 和 一 个 环境 的 模型 (通常 情况 )。 四 要 素 关系 自 底 向 上 呈 金 字 塔 结构 。 策 略 












































定义 在 任何 给 定时 刻 学 习 主 体 的 选择 和 动作 的 方法 。 这 样 ， 策 略 可 以 通过 一 组 产生 式 规则 或 



























































啊 应 对 ， 























者 一 个 简单 的 查找 表 来 表示 。 像 刚才 指出 的 ， 特 定 情况 下 的 策略 可 能 也 是 广泛 搜索 ， 查 询 一 
个 模型 或 计划 过 程 的 结果 。 它 也 可 以 是 随机 的 。 策 略 是 学 习 主体 中 重要 的 组 成 部 分 ， 因 为 它 
自身 在 任何 时 刻 足 以 产生 动作 。 




















奖励 函数 Rt 定义 了 在 时 刻 t 问题 的 状态 /目标 关系 。 它 把 每 个 动作 ， 或 更 精细 的 每 个 状态 - 








最 大 化 总 的 奖励 的 人 
赋值 函数 V 是 环境 中 每 个 状态 的 一 个 属性 ， 它 指出 对 从 这 个 状态 继续 下 去 的 动作 系统 可 
以 期 望 的 奖励 。 奖 励 函 数 度量 状态 -响应 对 的 立即 的 期 望 值 ， 而 赋值 函数 指出 环境 中 一 个 状态 


的 长 期 





了 映射 为 一 个 奖励 量 ， 以 指出 那个 状态 完成 目标 的 愿望 的 大 小 。 强 化 学 习 中 的 主体 有 


























E 务 ， 这 个 奖励 是 它 在 完成 任务 时 所 得 到 的 。 
















































































的 期 望 值 。 一 个 状态 从 它 自 己 内 在 的 品质 和 可 能 紧 接 着 它 的 状态 的 品质 来 得 到 值 ， 繁 略 
就 是 在 这 些 状态 下 的 奖励 。 例 如 ， 一 个 状态 /动作 可 能 有 一 














氏 的 立即 的 奖励 ， 但 有 一 个 较 高 








的 值 ， 因 为 通常 紧 跟 它 的 状态 产生 一 个 较 高 的 奖励 。 一 个 低 的 值 可 能 同样 意味 着 状态 不 与 成 
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DGE, EAE Tee (SE BRAT, AAEE h R a TPR RAS AIR SIE tr. (AE, 8 
定 值 比 确定 奖励 困难 。 奖 励 由 环境 直接 给 定 ， 而 值 是 估计 得 到 的 ， 然 后 随 着 时 间 推 移 根 据 成 


的 解 路 径 相 联系 。 















































如 果 没 有 奖励 函数 ， 就 没有 值 ， 估 计 值 的 惟一 目的 是 为 了 获取 更 多 的 奖励 。 但 是 , 次 森 值 函数 





























功 和 失败 重新 估计 值 。 事 实 上 ， 强 化 学 习 中 最 重要 也 是 最 难 的 方面 是 创建 一 个 有 效 的 确定 值 
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瞬时 奖惩 
ww ai bbt. com TOOO000 


Br 3m] 


的 方法 。 
强化 学 习 的 环境 模型 是 抓 住 环境 行为 的 方面 的 一 个 机 制 。 模 型 让 我 们 在 没有 实际 试验 它 
们 的 情况 下 估计 未 来 可 能 的 动作 。 基 于 模型 的 计划 是 强化 学 习 案例 的 一 个 新 的 补充 ， 因 为 早 
期 的 系统 趋向 于 基于 纯粹 的 一 个 主体 的 试验 和 误差 来 产生 奖励 和 值 参数 。 

系统 所 面临 的 环境 由 环境 模型 定义 ， 但 由 于 模型 中 P 函数 和 R 函数 未 知 ， 系 统 只 能 够 依 
赖 于 每 次 试 错 所 获得 的 瞬时 奖励 来 选择 策略 。 但 由 于 在 选择 行为 策略 过 程 中 ， 要 考虑 到 环境 
模型 的 不 确定 性 和 目标 的 长 远 性 ， 因 此 在 策略 和 瞬时 奖励 之 间 构 造 值 函 数 〈 即 状态 的 效用 函 
数 )， 用 于 策略 的 选择 。 






























































































































































R = Tat + /T, t+2 +y'r, 143 十 Da + yRa (10. 2) 
V" (s) - E, [R,s, 2 3] - E, inae y (s S ys Bs LA sa) DF DN. +yV"( (s^) | 
(10.3) 





首先 通过 (10.2) 式 构造 一 个 返回 函数 尺 ， 用 于 反映 系统 在 某 个 策略 x 指导 下 的 一 次 学 习 
循环 中 ， 从 s 状态 往 后 所 获得 的 所 有 奖励 的 累计 折扣 和 。 由 于 环境 是 不 确定 的 ， 系 统 在 某 个 策 
略 x 指导 下 的 每 一 次 学 习 循 环 中 所 得 到 的 R, 有 可 能 是 不 同 的 。 因 此 在 s 状态 下 的 值 函数 要 考 
虑 不 同学 习 循 环 中 所 有 返回 函数 的 数学 期 望 。 因 此 在 m REF, RAE s 状态 下 的 值 函 数 由 
(10.3) 式 定 义 ， 其 反映 了 如 果 系 统 遵循 x 策略 ， 所 能 获得 的 期 望 的 累计 奖励 折扣 和 。 

根据 Bellman 最 优 策略 公式 ， 在 最 优 策略 x 下， 系统 在 s 状态 下 的 值 函数 由 (10.4) RE 
义 。 

V (s)- max Er, ey" (s (saa ls, 58:8; =a} = max J. P; TRS tyV( (s') | (10.4) 


acA aeA(s 
























































































































































在 动态 规划 技术 中 ， 在 已 知 状态 转移 概率 函数 P 和 奖励 函数 R 的 环境 模型 知识 前 提 下 ， 
从 任意 设 定 的 策略 ma 出 发 ,可 以 采用 策略 迭代 的 方法 ( 式 10.5 和 式 10.6) 逼近 最 优 的 VAI ao 
式 10.5 和 式 10.6 中 的 上 为 迭代 步 数 。 

z,(s)=arg max X2 Es +" (s') | (10.5) 


s)e 2,5. (s.a) 3, Pe E +yV" (s‘) | (10.6) 


但 由 于 强化 学 习 中 ，P 函数 和 R 函数 未 知 ， 系 统 无 法 直接 通过 〈10.5) sh. (10.6) 式 进 
行 值 函 数 计 算 。 因 而 实际 中 党 采用 逼近 的 方法 进行 值 函 数 的 估计 ， 其 中 最 主要 的 方法 之 一 是 
蒙特 卡 罗 (Monte Carlo) 采 样 ， 如 (10.7) 式 。 其 中 R, 是 指 当 系统 采用 某 种 策略 m Mos 状态 出 
发 获得 的 真实 的 累计 折扣 奖励 值 。 保持 x 策略 不 变 , 在 每 次 学 习 循 环 中 重复 地 使 用 (10.7) 式 ， 
下 式 将 有 逼近 (10.3) zt. 

V(s,)<—V(s,)+a[R,-V(s,)] (10.7) 
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雪 合 蒙特 卡 罗 方 法 和 动态 规划 技术 , 式 (10.8) 给 出 强化 学 习 中 时 间 差 分 学 习 (TD, Temporal 
difference) 的 值 函 数 迭 代 公 式 。 
V(s,)<V(s, )* a[r, +7 (s) -V (s)] (10.8) 
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10.3 动态 规划 























动态 规划 (dynamic programming) 的 方法 通过 从 后 继 状态 回溯 到 前 驱 状态 来 计算 赋值 函数 。 

动态 规划 的 方法 基于 下 一 个 状态 分 布 的 模型 来 接连 的 更 新 状态 。 强 化 学 习 的 动态 规划 的 方法 
是 基于 这 样 一 个 事实 : 对 任何 策略 x 和 任何 状态 sS， 有 (10.9) 式 迭 代 的 一 致 的 等 式 成 立 ; 
V*(s)2 Yin(a|s)xYn(so s |a)x(R'(sOs)-y(V^(s) (10.9) 




















1 (a | s) 是 给 定 在 随机 策略 7 下 状态 s 时 动作 a MK. x (s>s | a) 是 在 动作 a 下 状 
AS s 转 到 状态 s 的 概率 。 这 就 是 对 V" 的 Bellman (0957) 等 式 。 它 表示 了 一 个 状态 的 值 和 它 的 
后 继 状 态 迭 代 计 算 的 值 之 间 的 关系 。 在 图 10. 3 中 ， 我 们 给 出 第 一 步 计 算 ， 从 状态 s 我 们 向 前 
看 三 个 可 能 的 后 继 。 对 策略 rz ， 动 作 a 出 现 的 概率 为 x (a | s) 。 从 这 三 个 状态 中 的 每 个 状态 ， 
环境 可 能 响应 其 中 的 一 个 状态 ， 我 们 说 s 有 奖励 r。Bellman 等 式 对 这 些 概率 取 平 均值 ， 不 采 
用 每 个 出 现 的 可 能 性 进行 加 权 。 它 指出 起 始 状态 的 值 必须 期 待 的 下 一 个 状态 的 折扣 值 ，Y ， 
加 上 从 这 一 路 径 产生 的 奖励 。 在 动态 规划 中 ， 如 果 n 和 mm 表示 状态 和 动作 的 数目 ， 虽 然 确定 
性 策略 的 总 数目 为 nam， 一 个 动态 规划 方法 能 保证 在 多 项 式 时 间 找 到 最 优 策略 。 在 这 个 意义 上 ， 
动态 规划 比 任何 策略 空间 中 的 直接 搜索 指数 级 的 快 ， 关 于 状态 数 和 行动 数 的 多 项 式 时 间 。 但 
上 果 状 态 数 是 根据 某 些 变量 指数 增长 的 ， 当 然 也 会 出 现 维度 灾难 了 
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图 10.3 ”动态 规划 方法 
在 动态 规划 中 , 由 (10. 4) 式 可 以 得 到 (10. 10) 式 的 迭代 公式 : 
Vaa (s) < MAXY' PY [RS +, (s )] 





(10. 10) 


当 Loot, V, (s) V (S), BME MIRA EGER, FILA VEINTE m ASIN TEC, AAS 
个 状态 长 远 奖励 的 评价 。 

典型 的 动态 规划 模型 作用 有 限 ， 很 多 问题 很 难 给 出 环境 的 完整 模型 。 仿 真 机 器 人 足球 就 
是 这 样 的 问题 ， 可 以 采用 实时 动态 规划 方法 解决 这 个 问题 。 在 实时 动态 规划 中 不 需要 事先 给 
出 环境 模型 ， 而 是 在 真实 的 环境 中 不 断 测试 ， 得 到 环境 模型 。 可 以 采用 反 传神 经 网 络 实现 对 
状态 泛 化 ， 网 络 的 输入 单元 是 环境 的 状态 s， 网 络 的 输出 是 对 该 状态 的 评价 VG) « 













































































10.4 蒙特 卡 罗 方 法 









































蒙特 卡 罗 方 法 不 需要 一 个 完整 的 模型 。 而 是 它们 对 状态 的 整个 轨道 进行 抽样 ， 基 于 抽样 
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互 中 抽样 状态 、 动 作 和 奖励 的 序列 。 联 机 的 经 验 是 令 人 感 兴趣 的 ， 因 为 它 不 需要 环境 的 先 验 
知识 ， 却 仍然 可 以 是 最 优 的 。 从 模拟 的 经 验 中 学 习 功 能 也 很 强大 。 它 需要 一 个 模型 ， 但 它 可 
以 是 生成 的 而 不 是 分 析 的 ， 即 一 个 模型 可 以 生成 轨道 却 不 能 计算 明确 的 概率 。 于 是 ， 它 不 需 
要 产生 在 动态 规划 中 要 求 的 所 有 可 能 转变 的 完整 的 概率 分 布 。 

于 是 ， 蒙 特 卡 罗 方 法 通过 对 抽样 返回 值 取 平均 的 方法 来 解决 强化 学 习 问 题 。 为 了 确保 良 
好 定义 的 返回 值 ， 蒙 特 卡 罗 方 法 定义 为 完全 抽样 ， 即 所 有 的 抽样 点 必须 最 终 终 止 。 而 且 ， 只 
有 当 一 个 抽样 点 结束 ， 估 计 值 和 策略 才 会 改变 。 这 样 ， 在 抽样 点 意义 上 说 ， 蒙 特 卡 罗 方 法 在 
一 个 抽样 点 上 是 增加 的 ， 而 不 是 逐步 的 。 图 10.4 中 ， 蒙 特 卡 罗 方 法 采样 一 次 学 习 循环 所 获得 
的 奖惩 返回 值 。 然 后 通过 多 次 学 习 ， 用 实际 获得 的 奖惩 返回 值 去 逼近 真实 的 状态 值 函数 。 
























































































































































10.4 ”蒙特 卡 罗 方 法 
蒙特 卡 罗 方 法 没有 环境 模型 ， 根 据 经 验 学 习 。 只 考虑 最 终 任务 ， 任 务 结束 后 对 所 有 的 回 
报 进 行 平 均 。 给 定 策略 T, TE V7. 方法 : 根据 策略 = 产生 从 开始 到 任务 完成 的 一 个 状态 
序列 ， 对 序列 中 第 一 次 (或 每 次 ) 出 现 的 状态 5t， 获 得 它 的 长 期 奖励 Bu); 把 Bs) 加 
入 列表 Rea, V(s¢) — average(R,,). 
列表 可 以 改 成 增 量 实现 (Incremental Implementation) , 


















































M rey Fats Visi) 
Vise) — Vise)+ Ne, +1 


Ns, — Ns,+1 (10. 11) 
策略 在 线 蒙特 卡 罗 控 制 时 ， 策 略 评估 和 改进 时 使 用 相同 的 随机 策略 ， 如 
ar + argmax((s.a) 


MT | 1 一 ee 十 TEN a 二 a* 
TAGII 27a (10. 12) 






































假定 主体 与 环境 交互 学 习 过 程 中 ， 发 现 某 些 动作 的 效果 较 好 ， 那 么 主体 在 下 一 次 决策 中 
该 选择 什么 样 的 动作 呢 ? 一 种 考虑 是 充分 利用 现 有 的 知识 ， 选 择 当 前 认为 最 好 的 动作 ， 但 这 
样 有 一 个 缺点 : 也许 还 有 更 好 的 动作 没有 发 现 ， 反 之 ， 如 果 主 体 每 次 都 测试 新 的 动作 ， 将 导 
致 有 学 习 没 进步 ， 显 然 不 是 我 们 希望 的 。 在 利用 现 有 知识 和 探索 新 行动 之 间 应 做 出 适当 的 权 
衡 ， 称 为 权衡 探索 和 利用 。 主 要 有 两 种 方法 ， 一 个 是 前 面 用 到 的 = -贪心 法 ， 另 一 种 是 模拟 退 
火 ， 每 个 动作 的 选择 概率 和 主体 对 它 的 评价 有 关 : 
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10.5 时 序 差分 学 习 

















时 序 差分 学 习 中 没有 环境 模型 ， 根 据 经 验 学 习 。 每 步 进行 迭代 








， 不 需要 等 任务 完成 。 预 





测 模型 的 控制 算法 ， 根 据 历 史 信息 判断 将 来 的 输入 和 输出 ， 强 调 模型 的 函数 而 非 模型 的 结构 。 
时 序 差分 方法 和 蒙特 卡 罗 方 法 类 似 ， 仍 然 采 样 一 次 学 习 循环 中 获得 的 瞬时 奖惩 反馈 ， 但 同时 




















类 似 与 动态 规划 方法 采用 自 举 方法 估计 状态 的 值 函 数 。 然 后 通过 多 次 迭代 学 习 ， 去 i 





的 状态 值 函数 。 
时 序 差 分 学 习 技术 中 经 典 的 TD(0) 学 习 算 法 如 下 。 
算法 10.1TD(0) 学 习 算 法 


Initialize V(s) arbitrarily, x to the policy to be evaluated 








Repeat (for each episode) 
Initialize s 
Repeat (for each step of episode) 
Choose a from s using policy 7 derived from V(e.g., € -greedy) 
Take action a, observer r, s' 
V(s)<V(s)+ alr +WV(s')- V(s)] 
ses’ 


Until s is terminal 
































nl 























近 真 实 


E 


TD(0) 学 习 算 法 事实 上 包含 了 两 个 步 又， 其 一 是 从 当前 学 习 循 环 的 值 函数 确定 新 的 行为 策 





略 ， 其 二 是 在 新 的 行为 策略 指导 下 ， 通 过 所 获得 的 瞬时 奖惩 值 对 该 
过 程 为 : 





ne nh an en ne as 


直到 值 函 数 和 策略 收敛 。 在 时 序 差 分 学 习 中 ， 计 算 值 函数 方法 如 图 






































图 10.5 ”时序 差 分 计算 值 函数 方法 

















能 的 状态 。 这 些 状态 值 的 数 反 映 从 这 个 状态 获胜 可 能 性 的 当前 估计 
策略 ， 也 就 是 说 ， 或 者 对 手 启 ， 或 者 平局 算 我 们 输 。 这 种 平 算 输 的 
启 的 策略 。 要 抓 住 一 个 实际 选手 的 技巧 ， 而 不 是 一 些 理想 化 选手 的 
始 化 表 ， 用 1 表示 我 们 能 赢 的 每 个 位 置 ， 用 0 表示 平 或 输 的 位 置 ， 月 
映 了 我 们 初始 时 估计 从 这 些 状态 有 50% 的 可 能 性 说 。 

我 们 现在 与 这 个 对 手 玩 这 个 游戏 。 为 简 音 起见， 假定 我 们 是 今 ， 
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策略 进行 评估 。 学 习 循 环 





* 
V 


10.5 所 示 。 


用 九宫 游戏 来 说 明 强 化 学 习 算法 。 首 先 ， 必 须 建 立 一 个 数 的 表 ， 每 个 数 表示 一 个 游戏 可 


。 这 会 文 持 一 个 必须 启 的 
方法 允许 我 们 建立 聚焦 于 
完美 信息 。 这 样 ， 我 们 初 
H 0.5 表示 其 余 位 置 ， 它 反 











我 们 的 对 手 是 O。 图 10.6 


反映 了 游戏 中 一 种 可 能 的 移动 序列 ， 既 有 考虑 到 的 又 有 选择 的 移动 。 为 了 产生 一 步 移动 ， 首 
先 考虑 从 当前 状态 一 步 合法 移动 到 的 每 个 状态 ， 


中 保 
函数 






































即 任何 今 可 能 移动 的 开放 状态 。 我 们 查找 表 
存 的 那个 状态 的 当前 值 。 在 大 多 数 时 刻 ， 我 们 可 以 做 一 步 贪 禁 的 移动 ， 即 取 有 最 佳 赋值 
的 状态 。 偶 尔 ， 我 们 会 做 一 步 探测 的 移动 ， 从 其 他 状态 中 随机 选取 一 个 状态 。 这 些 探测 





























的 移动 是 为 了 考虑 在 游戏 情形 中 可 能 看 不 到 的 一 些 选择 ， 来 扩大 可 能 值 的 最 优化 。 


我 的 移动 : 


我 的 移动 : 


我 的 移动 


对 手 的 移动 ; 

















图 10.6 九宫 游戏 的 一 个 移动 序列 。 向 下 指向 棋盘 的 虚 和 头 表 示 可 能 的 移动 选择 ， 向 上 的 实 第 
头 表示 当 奖 励 函 数 改变 状态 值 时 的 奖励 

















在 我 们 玩 游戏 时 ， 我 们 改变 选择 的 每 个 状态 的 赋值 函数 。 我 们 试图 使 它们 的 最 新 值 反映 





它们 在 成 功 路 径 上 的 可 能 性 。 在 前 面 我 们 把 这 个 称 为 一 个 状态 的 奖励 函数 。 为 了 做 到 这 一 点 ， 


我 们 
如 


退回 到 
指导 我 们 选择 下 一 个 状态 的 值 的 集合 。 这 相 


Y 
前 一 
Sz 


在 这 个 等 式 中 ，s 表示 在 时 刻 n ERIRE, Saa 表示 在 时 刻 nH 




















我 们 已 经 选择 的 一 个 状态 的 值 ， 把 它 作 为 我 们 下 一 个 要 选择 的 状态 的 值 的 函数 。 














10.6 中 “向 上 指 ” 的 箭头 所 示 ， 这 个 退回 的 动作 越过 我 们 对 手 的 选择 ， 但 它 确实 反映 了 




















励 来 更 好 反映 后 来 状态 的 值 (并 




















个 状态 一 部 分 差分 值 来 完成 这 个 外 














FE， 我 们 选择 的 前 一 个 状态 的 当前 值 就 被 修正 ， 给 
最 终 ， 当 然 是 反映 启 或 输 的 值 )。 我 们 通常 是 通过 移动 









































EF 务 ， 这 个 差分 值 是 前 一 个 


状态 自身 与 我 们 选择 的 新 状 





间 的 差异 值 。 这 个 部 分 度量 ， 称 为 步 长 参数 ， 它 通过 等 式 中 的 乘 数 c 来 反映 : 
V(s,)-S(s;) +eV(Sn+1)-V(Sn)) 








式 是 时 序 差分 学 习 规则 的 一 个 例子 ， 


V(sn+7) 

















时 序 差分 方程 对 九宫 游戏 执行 得 








-Vsn) 的 一 个 方程 。 在 下 一 节 ， 进 


























(10.14) 
选择 的 状态 。 这 个 更 新 的 等 














因为 改变 是 在 两 个 不 同时 刻 n 和 nl 估计 值 的 差分 
步 讨论 这 些 学 习 规 则 。 
E 常 好 。 我 们 想 随 着 时 间 来 减 小 步 长 参数 ， 目 的 是 为 了 











伴随 着 系统 的 学 习 ， 对 状态 值 进行 连续 减 小 的 调整 。 给 定 我 们 的 对 手 ， 这 能 保证 每 个 状态 的 
赋值 函数 收敛 于 遍 的 概率 。 还 有 ， 除 了 周期 性 的 探索 式 的 移动 ， 做 出 的 选择 实际 上 是 最 佳 的 





















































移动 ， 即 对 这 个 对 手 最 佳 的 策略 。 但 是 ， 更 令 人 感 兴趣 的 是 这 样 
F 何 改变 /改进 。 








正 减 到 0， 则 这 个 策略 会 持续 改变 来 反映 对 手 玩 时 的 人 
我 们 的 九宫 游戏 解释 了 强化 学 习 的 很 多 重要 特征 。 




















个 事实 : 如 果 步 长 从 未 真 

















HA 
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t. A 





在 与 环境 交互 时 的 学 习 ， 这 





203 























里 的 环境 是 我 们 的 对 手 。 第 二 ， 有 (反映 在 很 多 目标 状态 上 的 ) 清 晰 的 目标 和 最 佳 行为 ， 这 需要 








计划 和 预 做 准备 ， 以 便 为 特定 移动 的 延期 效应 保留 余地 。 例 如 ， 强 化 学 习 算法 有 效 地 建 并 对 





低级 对 手 的 多 步 移动 的 计策 。 这 是 强化 学 习 的 











行 扩 展 搜索 的 情况 下 ， 预 做 准备 和 计划 的 效果 可 以 在 实际 中 完成 。 





在 我 们 的 九宫 游戏 的 例子 




















个 重要 特征 ， 在 没有 对 手 的 清晰 模型 或 不 进 








P， 学 习 初 始 时 除了 游戏 规则 没有 其 他 先 验 知识 《我 们 只 是 把 


所 有 的 非 终 态 的 状态 初始 化 为 0.5)。 强 化 学 习 不 需要 这 种 “新 的 开始 ”的 观点 。 任 何 能 用 的 
言 县 的 状态 也 是 可 能 的 。 最 后 ， 








先 验 知识 可 以 使 它 成 为 初始 状态 值 的 
如 果 一 个 情况 的 模型 是 可 用 的 ， 贝 
是 要 记 住 强化 学 习 可 以 用 于 以 下 任 一 种 情况 : 不 需要 模型 ， 
学 习 到 ， 则 可 以 使 用 模型 。 
在 九宫 游戏 的 例子 





















































成 部 分 。 处 理 没有 可 用 






































I 结果 模型 所 依据 的 信息 可 以 用 于 状态 的 值 。 但 是 ， 重 要 的 




















如 果 模 型 能 用 或 者 模型 可 以 被 

















PF， 奖励 是 随 着 每 个 状态 -动作 的 决定 分 
的 ， 它 只 考虑 最 大 化 立即 的 奖励 。 实 际 上 ， 如 果 我 们 使 用 强化 学 习 进行 更 深入 的 预先 准备 














期 付 给 的 。 我 们 的 主体 是 近视 








我 们 将 需要 度量 最 终 奖 励 的 折扣 回报 (discounted return)。 我 们 令 折 扣 率 Y 表示 一 个 未 来 奖励 的 





当前 值 : KRR k 个 时 刻 步 得 到 的 奖励 的 价值 是 立即 得 到 的 奖 
九宫 游戏 是 两 人 游戏 的 一 个 例子 。 强 化 学 习 还 可 以 月 












































励 的 价值 的 Yk-1 倍 。 
日 于 没有 对 手 ， 而 上 只 是 从 环境 得 到 反 








馈 的 情形 。 九 襄 游 戏 的 例子 的 状态 空间 还 是 有 限 的 《实际 上 相当 小 ) 。 强 化 学 习 还 可 以 用 于 
当 状 态 空间 很 大 ， 或 者 甚至 是 无 限 的 时 候 。 








10.6 Q 学 习 

















Q: (state x action) 一 value 





对 Q 学 习 中 的 一 步 





在 Q 学 习 中 ，Q 是 状态 -动作 对 到 学 习 到 的 值 的 一 个 函数 。 对 所 有 的 状态 和 动作 : 





O(s,,4,) €- (1—¢) x O(S,,4,) +c x [r +y MAX O(S,,,,4) - O(s,.a,)] (10.15) 








10.7b 的 顶部 的 状态 ， 








在 完全 递归 定义 的 Q 学 习 






































点 开始 的 动作 和 和 它们 的 后 继 动 作 








HP c Aly SER, ra 是 状态 sea 的 奖励 。 我 们 可 以 在 图 10.7b 中 看 到 Q 学 习 的 方法 ， 它 与 图 
10.7a 不 同 ， 它 的 开始 结 点 是 一 个 状态 -动作 对 。 这 个 回溯 规 则 更 六 
回溯 的 根 结 点 ， 为 一 个 动作 结 点 与 产生 它 





f 每 个 状态 -动作 对 ， 为 了 使 
的 状态 为 一 对 。 





在 Q 学 习 中 ， 回 溯 从 动作 结 点 开始 ， 最 大 化 下 一 个 状态 的 所 有 可 能 动作 和 它们 的 奖励 。 
PF， 回 济 树 的 底部 结 点 一 个 从 根 结 
的 奖励 的 序列 可 以 到 达 的 所 有 终端 结 点 。 联 机 的 Q 学 习 ， 从 可 能 的 动作 向 前 扩展 ， 不 需要 建 





TT 


u 


H 











立 一 个 完全 的 世界 模型 。Q 学 习 还 可 以 脱 机 执行 。 我 们 可 以 看 到 ，Q 学 习 是 一 种 时 序 差 分 的 方 





Yo 


max 
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b} 








Monte Carlo 方法 采用 一 次 学 习 循 环 所 获得 的 整个 返回 函数 去 远近 实际 的 值 函数 ， 而 强化 























学 习 方 法 使 用 下 一 状态 的 值 函数 〈 即 Bootstrapping 方法 ) 和 当前 获得 的 瞬 有 








对 奖励 来 估计 当前 





状态 值 函数 。 显 然 ， 强 化 学 习 方法 将 需要 更 多 次 学 习 循 环 才能 各 近 实际 的 值 函 数 。 因 此 可 以 





























修改 (10.8) 3X, 构造 一 个 新 的 入 返回 函数 R/, Bs (10.16), 






































HP BUE RAH 











E 此 次 学 习 循环 





中 第 工 步 后 进入 终结 状态 。 入 -返回 函数 RY 的 物理 意义 如 图 10.8 所 示 。 那 么 值 函数 迭代 即 遵循 





























xk (10.17). 

St © @ 

ft+1 Q 
St+1 © O 

入 rt1 @ 
St+2 O e 

Pre AT 
O 
St+3 OC 
图 10.8 ”入 -返回 函数 
Ri = P $ Mas 十 Ais spes iis Oe 


V(s,)<V(s,)+a[ R/-V(s,)] 
















































































算法 10.2. TDA ) 算 法 
Initialize V(s) arbitrarily and e(s)=0 for all s € S 
Repeat (for each episode) 

Initialize s 
Repeat (for each step of episode) 
a — action given by 7 fors(e.g., € -greedy) 
Take action a, observer r, s' 
à € rx yV(s)-V(s) 
e(s)<e(s) +1 
for all s 
V (s) - V (s) aóe(s) 
e(s)< yae(s) 
sas! 


Until s is terminal 


$-e—9 
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(10.16) 


(10.17) 











由 于 强化 学 习 算法 中 值 函数 的 更 新 是 在 每 一 学 习 步 〈 即 每 次 获得 <s, a, 疡 s> 经 验 后 ) 进行 
的 ， 因 此 为 使 学 习 算 法 能 在 一 次 学 习 循 环 中 值 函数 满足 (10.17) 式 ， 设 计 新 的 TD() 算 法 。 在 
TDOJ) 算 法 中 通过 构造 eGs) 函 数 ， 即 可 以 保证 在 一 次 学 习 循环 中 值 函数 以 〈《10.17) 式 更 新 。 


























中 构造 状态 -动作 对 值 函数 ， 
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AY Q 函数 。Q 函数 定义 如 (10.18) 式 。 理 论说 
敛 于 最 优 状态 -动作 对 值 函数 [Tsitsiklis 1994]. Q 7&2 $217 





O*(s,a)= Y Pa| Re e yv") 
算法 10.3”Q 学 习 算 法 


Initialize Q(s,a) arbitrarily 

















Repeat (for each episode) 
Initialize s 


Repeat (for each step of episode) 














Choose a from s using policy derived from Q (e.g., € -greedy) 


Take action a, observer r, s' 


Q(s.a) € Q(s,a) - a| r - y max, O(s',a’) - Q(s.a)] 


ses’ 


Until s is terminal 


10.7 强化 学 习 中 的 函数 估计 


对 于 大 规模 MDP 或 连续 空间 MDP 问题 
化 学 习 的 值 函数 具有 一 定 泛 化 能 力 。 强 化 学 习 中 的 映射 关系 






































等 等 。 强 化 学 习 中 的 函数 估计 本 质 就 是 





























序列 为 : 


JB BUG 





























Ej, AAR a 满足 一 定 条 件 , Q 学 习 算法 必然 收 
是 目前 最 普遍 使 用 的 强化 学 习 算法 之 














(10.18) 


P， 强 化 学 习 不 可 能 遍历 所 有 状态 。 因 此 要 求 强 
包括 : SA. S—R.SXxA—R.SxA—S 
函数 逼近 这 些 映 射 。 

HETT 来 表示 (10.8) 式 。 假 设 初始 的 值 函 数 记 为 万 ， 则 学 习 过 程 产生 的 值 函 数 逼 近 














y, r(v,).r(r(,)).r(r(r(r))...... 



























































在 经 典 的 强化 学 习 算 法 中 ， 值 函数 采用 查找 表 Clookup-table) 方式 保存 。 而 在 函数 估计 



































中 ， 采 用 参数 化 的 拟 合 函数 蔡 代 查找 表 。 此 时 ， 强 化 学 习 基本 结构 如 岁 10.9 所 示 。 记 函数 估 








计 中 他 为 目标 函数 ，V 为 估计 函数 ， 则 M : VW 为 函数 估计 算 子 。 假 设 值 函数 初 值 为 Vo， 则 


学 习 过 程 中 产生 的 值 函数 序列 为 : 





Vy, M (V,), T (M (V,)), M (T (M (V.))). TM (T (M (9. ))))....... 














图 10.9 











因此 ， 类 似 与 Q 学 习 算 法 ， 使 用 函数 估计 的 强化 学 习 算 


AK 








数 估计 的 强化 学 习 结 构 

















法 迭代 公式 做 以 下 修改 。 


O(s,a)<— (1-a)V'(s,a)+a(r(s,a,s')+maxV'(s',a')) (10.19) 
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V'(s,a) = M (Q(s.a)) 


在 函数 估 1i 
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[Davies 1997] 
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方法 





十 强化 学 习 中 ， 








同时 并 行 两 个 迭代 过 程 : 





一 是 值 函 数 迭 代 过 程 工 ， 














过 程 M- 








因此 Mt a 





近 的 正确 



































方法 通常 








状态 聚 类 将 整个 状态 空 


车 续 或 较 大 规模 








采用 有 导师 监督 学 习 方法 : 
HA TIH% [Sutton 1996] 等 方法 。 


的 MDP 问题 被 离散 化 为 规模 较 小 





SRX 





如 状 











间 分 成 若干 区 域 ， 在 同一 区 域 的 状态 认为 

















它 将 状态 空 
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， 对 二 维 来 说 就 








方法 的 函 elo RP M UE 





的 每 
区 格 划 


维 等 分 为 若干 区 间 ， 而 将 整个 状态 空 
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定 收敛 到 原 问 题 的 最 优 解 上 








明 是 收敛 的 。 需 要 指明 的 是 : 尽管 











的 步 长 不 能 太 大 。 因 








此 对 于 大 规模 MDP 
目前 函数 估计 强化 学 习 研 





问题 ， 它 仍然 面临 着 维 
究 的 热点 是 采用 神经 网 络 等 方法 进行 函数 信 计 。 









































可 以 大 幅 


度 提 高 强化 学 习 的 学 习 速 度 ， 但 并 不 能 























性 ， 又 能 提高 收敛 速度 的 新 型 函数 估计 方法 ， 仍 然 是 


够 保证 收敛 性 。 








性 和 速度 都 将 对 强化 学 习 产 生根 本 的 影响 。 目 前 函 
[Singh 1995][ Moore 1994], 


值 函 数 相等 。 于 
的 MDP 问题 。 状 态 聚 类 最 人 


因此 研究 既 能 


(10.20) 





男 一 是 值 函数 
Buh 


函数 插值 
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可 单 的 方法 是 


间 划 分 为 若干 相同 大 小 的 
更 复杂 的 划分 方法 是 变 步 长 划分 和 三 角 划 分 
态 聚 类 强化 学 习 是 
要 使 收敛 的 值 函数 达到 一 定 的 精度 ， 状 态 
数 灾难 的 困难 。 
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10.8 强化 学 习 的 应 用 


出 奖 


Q(s,.a,) 称 之 为 动作 计 
P(ssq) 只 依赖 于 当前 状态 和 动作 ， 而 不 依赖 于 以 前 的 状态 和 动作 ， 而 强化 学 习 


在 











lr, = 0Q(s,,a,)， 








马尔 科 夫 决策 过 程 中 ， 主 体 可 感知 到 
集合 。 在 每 个 离散 时 间 步 上， 主体 感知 到 当前 状态 8 ， 选 择 当 前 动作 a, 并 执行 它 。 
并 产生 一 个 后 继 状 态 sy = P(spaj)。 在 马尔 科 夫 决策 过 程 
F {ti ER 











环境 的 不 同 状态 集合 ， 并 且 
































数 《 价 值 函 数 )，P(ssa) 称 之 为 状态 转换 函数 ; 














究 的 重点 


有 它 可 执行 的 动作 


环境 响应 给 
中 ， 其 中 函数 








其 中 Q(s,,a,) 和 











下 是 处 理 MDP 














的 一 种 重要 方法 。 强 化 学 习 通过 学 习 动 作 评 估 函 数 O(s,,a,) 或 状态 转换 函数 Ps a) S US 





习 的 


得 到 


目的 。 




















而 Q 学 习 主要 是 














通过 学 习 O(s ,a ) 获得 最 大 的 奖励。 
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进行 仿真 机 器 人 足球 2 对 1 训练 ， 
各 上 的 意识 ， 能 够 在 进攻 中 进行 配合 [ 宋 志 



































H5, 2003]。 如 网 10.10, 























可 射门 的 区 域内 ， 但 
射门 角 

















是 A 已 经 没有 射门 
FE. A 传 球 给 B， 射 门 ! 





RET; 
B 来 完成 ， 那 么 这 次 进攻 配合 


队友 B 也 处 于 射门 区 域 ， 
就 会 很 成 功 。 



































的 方法 来 进行 2 对 1 的 射门 训练 ,让 A 掌握 在 这 种 状态 情况 下 传 球 给 B 的 动作 是 


主体 通 





过 大 量 的 学 习 训练 
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《大 数量 级 的 状态 量 和 重复 相同 状态 ) 来 获得 策略 ， 
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训练 的 目的 是 试图 使 主体 学 习 获 
HUE A TIER, FF 
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通过 
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因此 更 具有 适 
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图 10. 11 给 出 状态 









































述 ,将 进攻 禁 


图 
区 划分 为 20 x 8 个 小 









































来 描述 2 对 1 进攻 时 的 环境 状态 ， 
一 战略 区 域 为 相似 状态 ， 这 相 




















SG 是 守门 员 的 区 域 编 
区 域 编号 组 成 的 对 。 














> 





对 状态 的 


IEF, ~A EAH A; (0 S75 19,0 < j <7) 便 可 描述 这 个 
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，S ,是 进攻 队员 A 的 





可 选 动作 集 确定 为 { Shoot, Pass, Dribble} . 











Shoot 的 策略 通过 基于 概率 的 射门 训练 的 学 习 来 得 
向 受到 威胁 小 ， 并 








Dribble 的 策略 是 ， 














门 成 功率 。 


始终 




















到 。 
射门 成 功率 高 的 
策略 目标 ， 可 划分 进攻 区 域 为 多 个 战略 区 ， 在 每 个 战略 区 进行 射门 评价 ， 记 录 每 个 区 域 的 射 
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10.10 ”仿真 机 器 人 足球 2 对 1 训练 








8， 但 设计 所 需 
述 ， 可 认为 Agent 在 战略 区 域内 是 积极 跑 动 的 ， 这 种 方法 满足 了 需求 。 
描述 了 一 个 特定 的 状态 ; 其 ， 


区 域 ， 每 个 小 





区 域 是 边 长 为 2m 的 














区 域 。 使 ) 




















J=* Agent 的 位 置 

















利用 图 10.11 所 示 的 划分 来 泛 化 状态 。 可 认为 主体 位 于 同 
的 是 一 种 战略 层次 的 措 
Ant, (S,,9,,S;) fi 














KIRA E, S, 是 进攻 队员 BIN 
号 。 区 域 编 号 计算 公式 为 ， 8 =ix8+ j。 相 应 的 ， 所 保存 的 状态 值 为 





区 域 编号 ， 











区 域 带 球 。 为 了 实现 这 一 


Pass 策略 很 简单 ， 只 需 在 两 个 Agent 间 进 行 传 球 ， 即 不 需要 选择 球 传送 的 对 象 ， 也 不 需要 
判断 传 球 路 径 。 如 果 传 球 失败 的 话 ， 则 认为 在 这 种 状态 下 执行 Pass 策略 是 不 成 功 的 ， 经 过 此 
训练 后 ， 不 可 能 的 传 球 路 径 也 不 会 被 执行 了 。 

训练 中 的 所 有 状态 包含 了 四 个 吸收 状态 。 假 设 进攻 方 在 左 半 场 ， 按 照 








规范 ， 这 四 个 状态 的 比赛 模式 为 play on. goal left, goal kick right 和 free kick right. ^4 
到 吸收 状态 时 ， 给 与 主体 最 终 奖 
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标准 的 Soccer server 


达 














励 r。 促 使 到 达 吸 收 状态 的 上 一 步 动 作 获 得 的 立即 回报 值 为 最 
































终 奖 励 值 r， 其 他 未 直接 促使 到 达 吸 收 状态 的 动作 均 获 得 过 程 奖 励 值 作为 立即 奖励 ; 其 中 
goal left 的 +r 最 大 为 1 表示 进 球 ， 其 他 状态 下 r 为 不 同 大 小 的 负数 。 

主体 在 经 过 一 定 的 状态 和 执行 多 个 动作 后 获得 了 终 态 奖励 (到 达 了 吸收 状态 )， 这 时 就 会 
对 这 个 状态 -动作 序列 分 配 奖励 。Q 学 习 算 法 的 核心 就 是 每 一 个 状态 和 动作 的 组 合 都 拥有 一 个 
Q 值 ， 每 次 获得 最 终 回报 后 通过 更 新 等 式 更 新 这 个 Q 值 。 由 于 Robocup 仿真 平台 在 设计 的 时 
候 在 状态 转换 的 时 候 加 入 了 一 个 较 小 的 随机 噪音 ， 所 以 该 模型 为 非 确定 MDP, 确定 Q 更 新 等 
式 为 : 

Q (s.a) = (1 —a)Q(s,a)+a (r +ymaxQ (soi )) (10. 21) 

规定 a=0.1, y-0.95. 
在 实际 的 训练 中 ,初始 Q 表 各 项 的 值 为 1。 经 过 大 约 2 万 次 的 训练 (到 达 吸 收 状态 为 一 次 )， 
Agent 的 Q 表 中 的 决 大 部 分 项 发 生 了 变化 ， 并 且 已 经 区 分 开 来 。 表 10.1 是 某 场 景 下 的 训练 次 
数 和 动作 选择 的 变化 示意 表 。 



























































































































































表 10.1 Q 值 变化 表 

















Stik. Ark ZAIR 
0.7342 0.8248 0.5311 


0.9743 0.9851 
0.9012 0, 8104 

















强化 学 习 的 应 用 主要 可 为 制造 过 程控 制 、 各 种 任务 调度 、 机 器 人 设计 和 游戏 等 。 在 过 去 
的 二 十 年 中 ， 强 化 学 习 研 究 取得 了 突破 性 进展 ， 但 目前 仍然 存在 许多 有 待 解决 的 问题 。， 强 化 
学 习 的 一 个 主要 缺点 是 收敛 慢 。 其 根本 原因 在 于 学 习 过 程 仅仅 从 经 验 获得 的 奖励 中 进行 策略 
的 改进 ， 而 忽略 了 大 量 其 他 有 用 的 领域 信息 。 因 此 ， 如 何 结合 其 他 机 器 学 习 技 术 ， 如 神经 网 
络 、 符 号 学 习 等 技术 ， 来 帮助 系统 加 快 学 习 速度 是 强化 学 习 研 究 和 应 用 的 重要 方向 。 目 前 ， 
结合 技术 研究 的 主要 难点 在 于 : 如 何 从 理论 上 证 明和 保证 学 习 算 法 的 收敛 性 。 在 更 复杂 马 氏 
决策 模型 中 发 展 有 效 的 强化 学 习 算 法 也 将 是 未 来 重要 的 研究 方向 之 一 。 






















































































































































































2j wm 


fe o 5 21 ERDARAN o 
试 解释 强化 学 习 模型 及 其 与 其 他 机 器 学 习 方 法 的 异同 。 
试 解释 马尔 可 夫 决 策 过 程 和 及 其 本 质 。 

简 述 蒙特 卡 罗 方 法 的 基本 思想 及 其 在 强化 学 习 中 的 应 用 。 
说 明 时 序 差分 学 习 的 基本 思想 并 以 九宫 游戏 为 例 说 明 时 序 差分 学 习 方 法 的 执行 过 程 。 
考虑 下 图 显示 的 一 个 确定 性 格子 世界 ， 其 中 含有 吸收 目标 G( 目 标 状态 )。 图 中 做 了 标记 的 
为 立即 回报 ， 而 其 他 没有 做 标记 的 转换 都 为 0。 给 出 格子 世界 的 每 个 状态 的 最 大 折算 累积 
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[HIR V^, ， 给 出 每 个 转换 的 最 大 折算 累积 回报 QG a) 的 值 。 并 写 出 一 个 最 优 策略 ， 使 用 
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BERKER ne RR 
ti 致 力 于 研究 含糊 概念 。 早 在 1904 年 谓 
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第 十 一 
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11.1 HE 




















, 具有 真 、 假 值 之 分 。 但 在 现实 生活 中 有 许多 含糊 现象 并 不 能 简单 地 ) 
处理 这 些 现象 训 




















成 为 一 个 研究 领域 。 




















词 逻辑 的 创始 人 G Frege 就 提出 了 含糊 (Vague) 一 i 


粗糙 集 














JES 
长 期 以 来 许多 逻辑 学 家 和 哲学 


-- 


司 ， 








他 把 它 归 结 到 边界 线 上 ， 也 就 是 说 在 全 域 上 存在 一 些 个 体 既 不 能 在 其 某 个 子 集 上 分 类 ， 也 不 





能 在 该 子 集 的 补 集 j 


上 分 类 。 























1965 年 ，Zadeh 提出 了 模糊 集 ， 不 少 理论 计算 机 科学 家 逢 


y 
j 
子 和 都 是 如 出 
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Lio 





在 于 它 恰 

















八 十 年 代 以 来 经 过 许多 六 
0 九 十 年 代 初 在 
他 处 理 不 确 


由 于 八 十 年 代 末 和 
泛 关 注 。 相 对 于 




















隔 20 4 














F 后 的 80 4 
出 了 粗糙 集 (Rough Set) [Pawlak 82] . fI 
种 边界 线 区 域 被 定义 为 上 近似 集 和 下 近似 集 之 差 集 。! 
糊 元 素数 目 是 可 以 计算 上 
好 反映 了 人 们 用 粗糙 集 方 法 处 至 
理 一 些 不 分 明 现象 的 能 力 ， 或 依据 观察 、 度 量 到 的 某 些 不 精确 
上 算 机 科学 家 和 数学 家 的 不 懈 胡 


的 ， 即 在 真 假 二 值 之 间 上 


iz 








k G. Frege 的 含糊 概念 , 但 遗憾 的 是 模糊 集 是 不 可 计算 的 , 即 没有 给 出 数学 公式 
念 ， 故 无 法 计算 出 它 的 具体 的 含糊 元 素数 目 ， 如 模糊 






















































































集中 的 隶属 函数 nu 和 模糊 
F 代 初 ， 波 兰 的 Pawlak 针对 G. Frege 的 边界 线 区 域 思 想 
了 些 无 法 确认 的 个 体 都 归属 于 边界 线 区 域 ， 而 这 
于 它 有 确定 的 数学 公式 
的 含糊 度 是 可 以 计算 的 。 粗 烟 集 理论 主要 兴趣 
E 不 分 明 问 题 的 常规 性 ， 即 以 不 完全 信息 或 知识 去 处 











通过 这 一 理论 解 
述 这 一 含糊 
逻辑 中 的 算 


IH 
TE 


1 逻辑 学 家 试图 
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结果 而 进行 分 类 数据 的 能 








究 ， 己 经 从 理论 上 日 趋 








完善 ， 特 别 是 
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I 识 发 现 等 领域 得 到 了 成 
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性 和 模糊 性 的 理论 工具 而 言 ， 




















功 的 应 用 而 越 来 越 受 到 











国际 上 的 ) 
粗糙 集 理 论 有 着 许多 不 可 替代 





























的 优越 性 。 经 过 近 几 年 的 研究 和 发 展 ， 它 已 经 在 信息 系统 分 析 、 人 工 智能 及 应 用 、 决 策 文 持 





系统 、 知 识 与 数据 发 现 、 模 式 识别 与 分 类 、 故 障 检测 等 方面 取得 了 较为 成 功 的 应 用 。 





粗糙 集 概 念 在 某 种 程 
似 之 处 ， 特 别 是 和 Dempster-Shafer 证 据 理 论 [Shafer 76 
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含糊 和 不 精确 


性 问题 而 研制 的 数学 工具 有 相 

















]。 两 者 之 间 主 要 区 别 在 于 














Dempster-Shafer 理论 利用 信 度 函数 作为 主要 工具 ， 而 粗糙 集 理 论 利 用 集合 : 下 近似 集 和 上 近 








似 集 。 另 一 种 关系 存在 于 模糊 集 理 
照 ， 不 是 和 模糊 集 竞 争 ， 而 是 补充 它 。 
自 独 立 的 方法 。 此 外 ， 有 一 些 关 系 存在 于 粗 料 到 
理 方法 之 间 、 与 决策 分 析 之 间 。 

粗糙 理论 的 主要 优势 之 一 


它们 是 各 







































































B. $ 











论 和 粗糙 集 理 论 之 间 。 粗 糙 集 理论 与 模糊 集 理论 多 方面 对 
昌 糙 理论 和 模糊 集 理 论 对 于 不 完 























全 的 知识 来 说 











KE 





EH 











ILS 4) 47, Dempster-Shafer 理论 中 的 基本 概率 赋值 ， 或 者 模 

















八 十 年 代 ， 许 多 波兰 学 者 对 粗糙 集 理 论 及 其 应 ) 
粮 集 理论 的 数学 性 质 与 逻辑 系统 进 








Bie 5I rz. 5 Boolean 推 


它 不 需要 任何 预备 的 或 额外 的 有 关 数 据 信 息 ， 

















比如 统计 学 中 
糊 集 理 论 中 的 隶属 度 或 概率 值 。 












































行 了 广泛 的 分 析 。 当 时 大 多 


进行 了 坚持 不 多 











的 深入 人 研究， 其 中 对 粗 
数 研 究 成 果 发 表 在 “Bulletin of 














The Polish Academic of Science: Mathematics” = “Bulletin of The Polish Academic of Science: 


Technical Science” 


1991 Æ} 











上 ; 同时 ， 他 们 也 

















发 了 一 些 应 用 系统 。 





兰 Z. Pawlak 教授 的 第 一 本 关于 粗粮 集 的 专著 和 1992 

















集 应 用 及 











研究 。1992 年 在 波兰 Kiekrz H 





与 相关 方法 比较 研究 的 论文 集 的 出 




















定义 的 基本 思想 及 














版 ， 推 动 了 
开 了 第 1 届 国 际 粗糙 集 讨 论 会 。 


























应 用 ， 其 





中 粗粮 集 环 境 下 机 器 学 习 的 基础 
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国际 上 对 粗糙 集 理 论 与 应 


年 R. Slowinski 主编 的 关于 粗糙 
的 深入 
这 次 会 议 着 重 讨论 了 集合 近似 
研究 是 这 次 会 议 的 四 个 专题 之 
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一 。 但 是 ， 参 加 这 次 会 议 的 研究 者 较 少 ， 范 围 也 不 太 广 泛 。 这 次 会 议 选 出 15 篇 论文 刊登 在 

“Foundation of Computing and Decision Sciences” 1993 年 第 18 卷 上 。 从 此 每 年 召开 一 次 与 
论 为 主题 的 
X Banff A 
国际 上 对 粗糙 集 理论 与 应 | 
正 值 KDD 成 为 研究 的 热门 话题 ， 
LE 论 的 知识 发 现 方法 与 系统 。1994 FER 


hee HE 
1993 年 在 加 
推动 了 

















Re AY AH he Se 


E 

















ii 


问题 。 


粗糙 集 理 
绍 了 目前 人 工 智 能 应 用 
决策 分 析 、 知 识 发 现 等 领域 的 
研讨 会 。 特 别 值得 一 提 的 是 1995 年 召开 的 第 4 届 模 糊 理 论 与 技术 国 





论 及 应 


国际 研讨 会 。 



































研讨 会 ， 这 次 会 议 广 泛 地 探讨 了 粗粮 集 与 模糊 逻辑 、 神 经 网 络 、 进 化 理论 等 








了 第 二 届 












































的 研究 ， 
一 些 著 名 KDD 学 者 参加 这 次 会 议 ， 并 且 介 
EA‘) San Jose Æ 





主题 是 粗糙 集 、Fuzzy 集 与 知识 发 现 。! 
Ja 
开 了 第 3 届 







































































JI JURE ERE 




















UG. Æ 1995 年 第 11 





























新 技术 











> 一 的 粗粮 集 理论 的 基本 概念 ， 及 


在 知识 获取 和 机 器 学 习 、 












































kk 体 研 究 项 目 和 进展 。1995 年 在 美国 











Willmington 召开 了 粗糙 外 




















H 


国际 粗粮 集 与 知识 发 现 (RSD93) 研 讨 会 .这 次 会 议 极 大 地 
于 此 时 
FEEF 
国际 粗糙 集 
的 融合 


期 ACM 通讯 上 撰文 ， 概 括 性 地 介 


pim 


际 研讨 会 (Fuzzy Theory & 


Technology”95)， 在 这 次 会 议 上 ， 针 对 粗粮 集 与 模糊 集合 的 基本 观点 与 相互 关系 展开 了 激烈 的 


讨论 ， 较 大 地 促进 了 粗糙 集 
这 是 第 一 次 在 亚洲 地 区 召 寻 
一 届 粗 糙 集 和 计算 的 当前 趋势 ”学 


集 、Fuzzy 

















的 研究 。1996 年 底 在 日 本 东京 召 
F 的 范 


Fa 














国际 粗糙 集 研讨 会 ， 


A 


开 了 第 5 
围 广泛 的 粗糙 集 研 讨 会 。1998 年 6 月 在 波兰 华沙 
SSW. 1999 年 11 H 9—11 日 在 



























































开 了 “第 
日 本 召开 了 “第 七 届 粗 粮 
集 、 数 据 挖掘 和 粒度 - 软 计算 的 国际 学 术 研 讨 会 ” (The Seventh International Workshop 


on Rough Sets, Fuzzy Sets, Data Mining and Granular-Soft Computing (RSFDGRC’99)), [XR T “4 


前 粗粮 














集 、 模 糊 集 的 研究 现状 和 发 展 趋势 ， 指 
理论 和 应 用 方面 发 展 。 




















将 着 重 在 软 计算 、 数 据 库 、AI 和 近似 推理 等 


2000 年 10 月 在 加 拿 大 又 召开 了 “第 二 届 粗 煤 集 和 计算 的 当前 趋势 ”学 术 会 议 。 目 前 ， 在 许多 
关于 人 工 智能 、 模 糊 理论 、 信 息 管 理 与 知识 发 现 等 国际 学 术 会 议 上 经 常 可 以 看 到 许多 涉及 粗 





燃 集 的 论文 。 





必须 指出 ， 粗 粮 开 





























有 效 的 ， 但 是 ， 由 于 这 个 理论 未 包含 处 理 不 精确 或 不 确定 原始 数据 的 机 制 。 因此， 单纯 地 使 
用 这 个 理论 不 一 定 能 有 效 地 描述 不 精确 或 不 确定 地 实际 问题 ， 这 意味 着 ， 需 要 其 它 方法 补充 。 
一 般 地 说 ， 由 于 证 据 理 论 与 模糊 集 理论 等 具有 处 理 不 精确 和 不 确定 数据 的 方法 (尽管 在 搬 述 
上 不 一 定 方便 )， 因 此 ， 将 它们 与 粗糙 理论 构成 互补 是 自然 的 考虑 。 

为 了 能 更 好 地 理解 粗糙 集 理 论 的 本 质 和 特点 ， 这 里 介绍 粗粮 集 理论 的 一 些 基 本 定义 ， 目 
的 在 于 阐明 粗糙 集 的 思想 本 质 ， 以 及 与 其 他 处 理 不 确定 性 和 模糊 性 数学 工具 的 不 同 之 处 。 























论 也 不 是 万 能 的 ， 对 建 模 而 言 ， 尽 管 粗 糙 理 论 对 知识 不 完全 的 处 到 



















































































































































































11.1.1 知识 的 分 类 观点 
































种 生物 
2 EX 











“对 象 ” 是 指 我 们 所 
知识 必须 与 具体 或 抽象 


基本 粗糙 集 


IN oe 




















识 构 成 了 某 一 感 兴趣 领 
SESE, DAR HEA MIX HE t sj 
方便 起 见 ， 在 下 面 的 定义 中 用 等 价 关 系 来 代替 分 类 。 





Ty BUF SEH 
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H 











Gb = 
Ke ri 





论 认为 知识 就 是 人 类 和 
关于 环境 的 知识 主要 表明 了 生物 根据 
民 据 其 传感器 信和 号 形成 复 


策 中 的 关键 问题 。 因 此 ， 


Esc epit ss n ES SPS HE 

















H.E 
EAE 































































































他 物种 所 


























分 类 





杂 的 分 类 模式 ， 就 是 这 种 生物 的 基本 机 制 。 
粗粮 集 理 


杂 





是 推理 、 



































I 象 概念 、 过 程 和 时 刻 等 等 。 民 














回 有 的 分 类 能 力 。 例 如 ， 在 现实 世界 中 
生存 观 来 对 各 种 各 样 的 情形 进行 分 类 区 别 的 能 力 。 每 


yA 
学 


论 假 定 知识 是 一 种 对 对 象 进行 分 类 的 能 力 。 这 里 的 
及 的 任何 事物 ， 比 如 实物 、 状 态 、 才 


i 








世界 的 特定 部 分 相关 的 各 种 分 类 模式 联系 在 一 起 ， 这 种 特定 部 分 称 2 
为 所 讨论 的 全 域 或 论 域 (universe)。 对 于 全 域 及 知 i 
成 中 各 种 分 类 模式 的 一 个 族 集 (family)， 这 个 族 集 提 供 了 关于 现实 的 显 



































理 





ob 
He o 
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只 的 特性 并 没有 任何 特别 假设 。 事 实 上 ， 知 


R 


(indiscernbility relation) 〈 或 称 不 可 


ay 
2x 
a 


定义 11.1 一 个 近似 空间 (approximate space) (或 知识 库 ) 定义 为 一 个 关系 系统 (或 二 元 组 ) 


K=(U, R), 
H UD (SHERR) 是 一 个 被 称 
是 U 上 等 价 关 系 的 一 个 族 集 。 

定义 11.2 ix PcR, Pe, 









































P H 











[x] D Ex], 


注意 ，IND(P) 也 是 等 价 关系 旦 是 唯一 的 。 


(11.1) 


为 全 域 或 论 域 (universe) 的 所 有 要 讨论 的 个 体 的 集 


(11.2) 


as 
A» 





Fp 所 有 等 价 关 系 的 交集 称 为 P 上 的 一 种 不 分 明 关 系 
区 分 关系 )， 记 作 IND(P)， 即 


定义 11.3. 给 定 近似 空间 K=(U, R)， 子 集 XcU 称 为 U 上 的 一 个 概念 (concepD， 形 式 上 ， 








BE 
AS 





RO 也 视 为 一 个 概念; 非 空子 族 





PcR 所 产生 的 不 分 明 关 系 IND(P) 的 所 有 





等 价 类 关系 的 

















合 即 UND(P)， 称 为 基本 知识 (basic knowledge)， 相 应 的 等 价 类 称 为 基本 概念 (basic concept); 
特别 地 ， 若 关系 QeR， 则 关系 Q 就 称 为 初等 知识 (elementary knowledge)， 相 应 的 等 价 类 就 称 


为 


族 





初等 概念 (elementary concept). 














一 般 用 大 写字 母 PQ,R 等 表示 一 个 关系 ， 月 





价 类 。 为 了 简 





集 可 以 认为 是 U ] 





11.1.2 新 型 的 隶属 关系 


TH 





小 从 
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里 论 与 传统 上 








集合 理论 有 背 
































的 
使 
素 
始 
须 
因 
m 








相似 之 处 ， 但 是 它们 的 


DER IR) 





日 大 写 黑 体 字 母 P,Q,R 等 表示 关系 的 族 集 ; 
或 R(X) 表示 关系 R 中 包含 元 素 x eU. 的 概念 或 等 
根据 上 述 定义 可 知 ， 概 念 即 对 象 的 集合 ， 概 念 


tH 
ru 




















LAS “SURE BRR EE BN 262) 28713 


iE 


EA 
IN Ao 























发 点 完全 





不 同 





[x]R 





起 见 ， 有 时 用 了 代替 INDEP). 
就 是 U 上 的 知识 ，U 





上 分 类 的 


。 传 统 集合 论 认为 ， 














A Tg 
个 集合 完全 是 由 


AN 


L 素 所 决定 ， 
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E 
Ez 
Thy 








at 
2A 








42H 


导 模 糊 集 合 能 够 处 理 一 定 
， 这 给 其 应 用 带 来 了 一 定 上 
NE" 


TERI 
GAE. 
概念 来 处 理 ， 集 合 的 并 和 交 就 建立 在 其 
事先 给 定 〈 传 统 集合 默认 隶属 度 为 1 




































































或 0)。 





个 元 素 要 么 属于 这 个 集合 ， 
函数 x(x)e {0,1}。 模 糊 集 合 对 此 做 了 拓 广 ， 它 给 成 员 赋 予 一 个 于 
j 和 不 确定 数据 ， 
， 传 统 
TOR HIS 








H, 
LAE 
集合 论 和 


AS A 
































在 粗糙 集 





模糊 
上 模糊 集合 论 都 是 把 隶属 关 
属 度 max fl 


H, KB 


BAA 


于 这 个 集合 ， 即 它 
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K [eg 
Thy 





x 





IE] 








Hr 





RE? 


BE, BluxQ)e[0.1], 





RE 


的 确 


定 往 往 具有 人 为 因 








求 必 


Il min 操作 











系 作 为 原 


RER 














此 
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中 关系 不 





E, B 
ANS 


3 
] 是 aan 念 











此 无 需 人 为 给 元 素 指定 一 个 寻 
系 





























定义 11.4 ix XcU | 








(rough membership function)? 定义 为 














card( X M R(x)) 
card(R(x)) 





= 


长 属 度 ， 从 而 避免 了 主观 
有 关 ， 而 模糊 性 则 表现 在 集合 本 身 。 为 描述 不 确 
日 xeU,f&& X 的 隶属 函数 (membership function) (或 称 为 粗糙 隶属 函数 
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KE 








i 








中 R EAT XARA, RO=]: eU)AQRx)] « 


在 本 文中 我 们 用 card 表示 集合 的 基数 。 
根据 上 面 的 定义 ， 可 以 得 到 以 下 愧 











E JU: 














1) pt @=l 当 且 仅 当 [zcX; 











2) wy CD)>0 当 且 仅 当 [xmXz<G ; 
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D000000 


因素 的 影 




















^ 
定 与 





啊 。 而 











认为 不 确 





xk ng 
AKJPS 














(11.3) 


E， 定 义 隶 属 关 系 如 下 。 
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3) hx CoO=0 H H.BC5 [x] X7 。 

































































11.1.3 概念 的 边界 观点 











显然 有 hyx (x)e[0,1]。 我 们 可 以 看 到 ， 这 里 的 隶属 关系 是 根据 已 有 的 分 类 知识 客观 计算 出 来 的 ， 
可 以 被 解释 为 一 种 条 件 概率 ， 能 够 从 全 域 上 的 个 体 加 以 计算 ， 而 不 是 主观 给 定 的 。 








知识 的 粒度 性 是 造成 使 用 已 有 知识 不 能 精确 地 表示 某 些 概 念 的 原因 。 这 就 产生 了 
于 不 精确 的 “边界 ” 思想。 著名 哲学 家 Frege 认为 “概念 必须 有 明确 的 边界 。 没 有 明确 边界 的 

















概念 ， 将 对 应 于 一 个 在 周围 没有 明确 界线 的 区 域 "” 粗粮 集 理 论 



































的 概念 ， 即 一 个 不 精确 的 概念 具有 模糊 的 不 可 被 明确 划分 的 边界 。 为 刻画 模糊 性 ， 

















所 谓 的 关 





























中 的 模糊 性 就 是 一 种 












































确 概念 由 一 对 称 为 上 近似 与 下 近似 的 精确 概念 来 表示 ， 它 们 可 月 




















隶属 函数 定义 如 下 。 


基于 边界 
每 个 不 精 


定义 115 KAA XcU， 我 们 称 ReCO=fx:CeU)ACnS =D} AH X 的 下 近似 (lower 





approximation) , R'(X)={x:(xeU)A( u? Q950)) 为 X 的 上 近似 (upper approximation) , 


BN&(X)-R'(X)-R«(X)29 X 的 边界 或 边界 区 域 (boundary)。 
显然 ， 若 BNa(X)e © RR ARX) WEA X 就 是 一 个 粗 











糙 概 念 。 下 近似 包含 J 


























用 知识 RR 可 确切 分 类 到 X 的 元 素 ， 上 近似 则 包含 了 所 有 那些 可 能 是 属于 X 的 元 素 。 




















下 近似 的 差 就 是 此 概念 的 边界 区 域 ， 它 由 不 能 肯定 分 类 到 这 个 概念 或 其 补 集中 的 所 
成 。 在 粗糙 集中 也 采用 下 面 的 说 法 , POSR(X)=R:(X) 称 为 集合 X 的 RR- 正 区 域 (R-positive region), 



































NEGRCO=U-R CO 称 为 集合 X 的 R- 反 区 域 (R-negative region). 











我 们 可 以 看 到 ,模糊 性 和 不 确定 性 在 此 有 了 联系 ， 即 模糊 性 是 由 不 确定 性 来 定义 的 。 
地 ， 在 给 定 近 似 空间 中 ， 并 非 所 有 的 对 象 子 集 都 可 用 给 定 的 知识 来 表示 成 概念 ， 这 样 的 子 


















































就 认为 是 粗粮 概念 〈 即 不 精确 的 或 近似 的 概念 )。 但 是 ， 粗 粮 概 





























所 有 使 
上 近似 与 
有 元 素 组 























念 可 以 通过 两 个 精确 

















近似 和 下 近似 ) 来 粗糙 地 定义 ， 这 就 使 我 们 可 以 精确 地 讲述 不 精确 的 概念 。 另 外 ， 























数 、 上 近似 和 下 近似 还 可 以 定义 粗糙 集 的 包含 关系 与 相等 关系 等 。 


11.2 ”知识 的 约 简 

















丁 着重 叙述 粗糙 集 理 论 的 两 个 最 基本 问题 : 知识 约 简 与 知识 的 依赖 性 。 知识 约 
近似 空间 中 每 个 等 价 关系 是 否 都 是 必要 的 ， 以 及 如 何 删 去 不 必要 的 知识 。 知 识 约 简 在 信息 系 
统 分 析 与 数据 挖掘 等 领域 都 具有 重要 的 应 用 意义 。 知 识 之 间 的 依赖 性 决定 知识 是 否 可 以 进行 
约 简 ， 根 据 依赖 性 所 定义 的 知识 的 重要 性 往往 是 知识 约 简 的 重要 局 发 式 信息 。 










































































11.2.1 一 般 约 简 























m ou 


pim 








T 


概念 (上 











简 是 研究 




































































在 粗糙 集 理 论 应 用 中 , 约 人 简 与 核 是 两 个 最 重要 的 基本 概念 。 直观 的 ， 所谓 知识 的 约 简 是 指 








知识 的 本 质 部 分 ， 它 足以 定义 所 考虑 的 知识 中 遇 到 的 所 有 基本 概念 ， 而 核 是 其 最 重要 的 部 分 。 








定义 11.6 WR 是 等 价 关系 的 一 个 族 集 ， 且 设 ReR。 若 IND(R)=IND(R-R)， 则 称 关系 R 
EIRE R 之 中 是 可 省 的 (dispensable) ,否则 就 是 不 可 省 的 。 若 族 集 R 中 的 每 个 关系 及 























省 的 ， 则 称 族 集 R 是 独立 的 (independenD， 否则 就 是 依赖 的 或 非 独立 的 。 


都 是 不 可 








定义 11.7 Ë QcP 是 独立 的 ,并且 IND(Q)-IND(P) , 则 称 Q 是 关系 族 集 P 的 
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个 约 简 


























(reduct) 。 在 族 集 P 中 所 有 不 可 省 的 关系 的 集合 称 为 了 的 核 (core) ， 以 CORE(P) 来 表示 。 
显然 ， 族 集 P 有 多 个 约 简 〈 约 简 的 不 唯一 性 )。 
下 面 的 定理 是 建立 核 与 约 简 之 间 联 系 的 重要 性 质 。 
定理 11.1 族 集 P 的 核 等 于 P 的 所 有 约 简 的 交集 。 即 

CORE(P)=N RED(P) (11.4) 

其 中 RED(P) 是 P 的 所 有 约 简 的 族 集 。 

从 上 面 定 理 可 看 出 ， 核 的 概念 具有 两 方面 意义 。 首 先 ， 可 作为 计算 所 有 约 简 的 基础 ， 因 为 

核 包含 于 每 一 个 约 简 之 中 ， 并 且 其 计算 是 直接 的 。 其 次 ， 核 可 以 解释 为 知识 最 重要 部 分 的 集 

合 ， 进 行 知识 约 简 时 不 能 够 删除 它 。 

一 般 产生 约 简 的 方法 是 逐个 向 核 中 添加 可 省 的 关系 ， 并 进行 检查 。 注 意 ， 可 省 的 关系 集合 的 

圭 集 的 基数 是 多 少 ， 就 有 多 少 种 添加 的 方式 。 最 好 的 情况 是 所 有 不 可 省 的 关系 集合 本 身 就 是 

约 简 ， 此 时 的 约 简 是 唯一 的 。 所 以 ， 计 算 所 有 约 简 与 计算 一 个 最 住 约 简 (比如 定义 为 天 系 最 

少 ) 都 是 NP 难题 。 


11.2.2 相对 约 简 


本 节 推 广 约 简 与 核 的 概念 。 为 此 ， 首 先 需 要 定义 一 个 分 类 关于 另 一 个 分 类 的 正 区 域 概念 。 
定义 11.8 WP FQ 是 全 域 U 上 的 等 价 关 系 的 族 集 , 所 谓 族 集 Q 的 P- 正 区 域 (P-positive region 
of Q)， 记 作 POSp(Q)， 定 义 为 

POSWQ)- |) PX) (11.5) 

XceU/Q 
TREE Q 的 了 P- 正 区 域 是 全 域 U 的 所 有 那些 使 用 分 类 U/P 所 表达 的 知识 , 能够 正确 地 分 类 于 U/Q 
的 等 价 类 之 中 的 对 象 的 集合 。 一 个 集合 X 相对 于 一 个 等 价 关 系 了 的 正 区 域 就 是 这 个 集合 的 下 
近似 PX); 而 一 个 等 价 关 系 Q 相对 于 另 一 个 等 价 关 系 了 的 正 区 域 的 概念 是 解决 分 类 Q 的 等 
价 类 (一 般 视 为 决策 类 ) 之 中 的 那些 对 象 可 由 分 类 了 的 等 价 类 (一 般 视 为 条 件 类 ) 来 分 类 的 问题 。 
定义 11.9 设 P 和 Q 是 全 域 U 上 的 等 价 关 系 的 族 集 ，ReP。 若 

POSipoy(IND(Q))- POS ipie- iA: ND(Q)) (11.6) 

则 称 关 系 R 在 族 集 P 中 是 Q- 可 省 的 ， 和 否则 称 为 Q- 不 可 省 的 ; 如 果 在 族 集 P 中 的 每 个 关 
A R 都 是 Q- 不 可 省 的 ， 则 称 卫 关于 Q 是 独立 的 ,否则 就 称 为 是 依赖 的 。 

定义 11.10 ScP FKA P 的 Q- 约 简 (Q-reduct) ,当日 仅 当 S 是 P 的 Q- 独 立 的 子 族 集 ， 且 
POSs(Q)=POSp(Q); 族 集 P 中 的 所 有 Q- 不 可 省 的 初等 关系 的 集合 ， 称 为 族 集 了 的 Q- 核 (Q-core) 

,， 记 作 COREQ(P) 。 
容易 看 出 ， 当 P=Q 时 ， 上 述 定义 就 是 11.2.1 节 所 引入 的 定义 。 

下 面 的 定理 是 定理 1.1 的 拓 广 。 
定理 11.2 KE P 的 Q- 核 等 于 族 集 P 的 所 有 Q- 约 简 的 交集 。 即 

COREQ(P)-^REDQ(P) (11.7) 
其 中 REDo(P) 是 族 集 P 的 所 有 Q- 约 简 的 族 集 。 
假设 P 与 Q 是 全 域 U 上 的 等 价 关 系 的 族 集 MR), TREE Q 的 族 集 P- 正 区 域 POSp(Q) 是 使 用 
知识 了 能 够 分 类 于 知识 Q 的 概念 之 中 的 所 有 对 象 的 集合 。 如 果 整 个 知识 了 对 于 将 对 象 分 类 于 
知识 Q 的 概念 中 都 是 必要 的 ， 那 么 知识 了 就 是 Q- 独 立 的 ， 知 识 了 的 Q- 核 知识 是 知识 了 的 本 
质 部 分 , 在 不 影响 将 对 象 分 类 于 Q 的 概念 之 中 的 能 力 的 前 提 之 下 ，Q- 核 知识 是 不 能 被 删除 的 。 
即 删除 它们 的 任何 部 分 都 将 会 影响 知识 P 把 对 象 分 类 于 Q 的 概念 之 中 的 能 力 。 知 识 了 的 Q- 
约 简 是 知识 P 的 某 种 最 小 子 集 ， 它 具有 与 整个 知识 了 P 相同 的 把 对 象 分 类 于 知识 Q 的 概念 之 中 
WEA. YER, FAP 可 能 有 多 个 约 简 。 在 某 种 意义 上 ， 如 果 知 识 P 仅仅 只 有 一 个 Q- 约 简 ， 
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则 知识 P 就 是 确定 的 ， 即 把 对 象 分 类 于 知识 Q 的 概念 之 中 时 ， 仅 仅 只 有 一 种 使 用 知识 了 的 方 
式 。 当 知识 了 为 不 确定 的 即 知识 P 有 多 个 Q- 约 简 ， 将 对象 分 类 于 Q 的 概念 时 ， 一 般 就 有 多 种 
使 用 知识 P 的 方式 。 若 核 为 衬 ， 则 这 种 不 确定 性 就 尤其 严重 。 


1.2.3 知识 的 依赖 性 


知识 的 依赖 性 可 形式 定义 如 下 : 
定义 11.11 设 K=(U, R) 是 一 个 近似 空间 ，P, QcR. 
1) 知识 Q 依赖 于 知识 了 或 知识 P 可 推导 出 知识 Q， 当 且 仅 当 IND(P)cIND(Q) , iE P>Q; 
2) 知识 P 和 知识 Q 是 等 价 的 ， 当 且 仅 当 了 P=Q H Q=>P , El IND(P)=IND(Q) , 记 作 P=Q， 明 
显 地 ，P=Q 当 且 仅 当 IND(P)=IND(Q); 
3) 知识 P 和 知识 Q 是 独立 的 ， 当 且 仅 当 P2Q H QSP 均 不 成 立 ， 记 作 PQ. 
依赖 性 也 可 以 是 部 分 成 立 的 ,也 就 是 从 知识 了 能 推导 出 知识 Q 的 一 部 分 知识 ， 或 者 说 知 
识 Q 只 有 一 部 分 依赖 于 知识 P 的 。 部 分 依赖 性 (部 分 可 推导 性 ) 可 以 由 知识 的 正 区 域 来 定义 。 
岗 在 我 们 形式 地 定义 部 分 依赖 性 。 

定义 11.12 Yt K=(U, R) 是 一 个 知识 库 ，P, OCR , 我 们 称 知识 Q 以 依赖 度 K(0< k< ]) 依 赖 
于 知识 P， 记 作 P 一 \Q ， 当 且 仅 当 
k=yp(Q)=card(POS»(Q))/card(U) (11.8) 


(D) Æ kel, WANE Q 完全 依赖 于 知识 P，P 一 1Q Hide P>Q; 
(2) 若 0< 反 1， 则 称 知识 Q 部 分 依赖 于 知识 P; 
(3) 47 k-0 , 则 称 知识 Q 完全 独立 于 与 知识 P。 
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上 述 思 想 也 可 解释 为 将 对 象 分 类 的 能 力 。 确 切 地 说 ， 若 大 1， 则 全 域 的 所 有 元 素 都 能 够 用 

知识 了 来 分 类 于 UQ 的 概念 之 中 。 若 好 1， 则 仅仅 是 全 域 之 中 属于 正 区 域 的 那些 元 素 能 够 用 

知识 了 来 分 类 于 UQ 的 概念 之 中 。 特 别 地 ， 若 巡 0， 则 全 域 的 所 有 元 素 都 不 能 够 用 知识 卫 来 
分 类 于 UQ 的 概念 之 中 。 因 此 ， 系 数 yp(Q) 可 以 理解 为 知识 P 和 知识 Q 之 间 的 依赖 程度 。 





































































































11.3 ”决策 逻辑 





























粗粮 集 理论 中 近似 空间 的 概念 给 出 了 一 种 理解 与 处 理 知识 的 基本 框架 , 从 算法 实现 角度 考 
虑 ， 它 特别 适合 于 处 理 以 数据 表 形 式 表示 的 信息 ， 而 这 样 的 数据 表 称 为 信息 系统 或 知识 表达 
系统 。 这 种 表达 方式 有 很 大 的 优点 ， 比 如 它 的 直观 性 ， 但 我 们 也 可 以 从 不 同 的 角度 来 看 待 这 
种 数据 表 ， 也 就 是 说 ， 它 可 以 被 看 作 是 关于 现实 和 结果 的 一 个 命题 的 集合 ， 因 此 用 逻辑 工具 
来 处 理 ， 这 就 是 本 节 的 出 发 点 。 


11.3.1 决策 表 的 公式 化 定义 


知识 表达 系统 可 以 公式 化 地 定义 为 : $=(U, 4)， 其 中 上 U 为 非 空 的 有 限 集 论 域 ，4 为 非 空 的 
属性 有 限 集 。 
知识 表达 系统 这 个 定义 , 我 们 可 以 方便 地 用 表格 表达 来 实现 。 知识 的 表格 表达 法 可 以 看 作 
是 一 种 特殊 的 形式 语言 ， 它 用 符号 来 表达 等 价 关 系 。 在 知识 表达 系统 数据 表 中 ， 列 表示 属性 ， 
行 表示 对 象 〈 如 状态 、 过 程 等 )， 并 且 每 行 表示 该 对 象 的 一 条 信息 。 数 据 表 可 以 通过 观察 、 测 
量 得 到 。 


容易 看 出 ,一 个 属性 对 应 一 个 等 价 关 系 ,一 个 表 可 以 看 作 是 定义 的 一 族 等 价 关 系 ， 即 知识 
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每 个 子 集 BoA 称 为 一 个 
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前 面 所 讨论 的 知识 约 简 就 可 以 转化 为 忆 
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的 。 属性 B 可 以 看 作 月 
属性 Bcd 的 初等 范畴 
































日 等 价 关 系 表示 的 知识 的 一 个 名 称 ， 可 称 为 标识 
的 名 称 是 一 个 集合 对 〔 属 性 、 值 )， 记 为 {2, boo) sene 








i 
FE 子 集 BE4， 我 们 可 以 定义 一 个 不 可 分 辨 二 元 关系 INDB), BH 
IND(B)={(x,y)eU", 对 于 每 一 peB,bCD)=b0)}， 
然 IND(B) 是 一 个 等 价 关 系 ， 且 beB, IND(B)ÆAIND(b). 


FE 约 简 。 





(11.9) 


AS 


TWN BK Ay E Sr 
E. 包含 对 象 x、 具 有 


有 一 个 元 素 时 ， 则 称 B 为 原始 的 ， 


317 


















































因 知 识 库 与 知识 表达 系统 之 间 具 有 一 对 一 映照 关系 , 取决 于 属性 和 属性 名 称 的 同 构 ， 故 任 
一 知识 库 K=(U, R)、 一 个 知识 表达 系统 $=(U, 4), 两 者 之 间 的 关系 为 : 当 reR HUI Gn x», ttn 
,Xo}， 对 于 属性 集 A, 每 个 属性 aU V, , KHAA xeX» (712, HV, =12 k} 
且 qx)=i。 这 样 ， 所 有 涉及 知识 库 的 定义 都 可 以 用 知识 表达 系统 的 定义 来 描述 。 

因此 , 知识 库 中 任 一 等 价 关 系 在 知识 系统 数据 表 中 表示 为 一 个 属性 和 用 属性 值 表示 的 关系 








的 等 价 类 ， 表 中 的 列 可 








效 事实 和 规律 的 描述 。 


决策 表 是 一 类 特殊 而 重要 的 知识 表达 系统 ， 它 指 当 满足 某 些 条 件 时 ,决策 (行为) 应 当 怎 


e VERE YR SU I 
包含 了 能 从 表 中 数据 推导 出 的 所 有 可 能 的 规律 。 所 以 ， 数 据 表 知识 表达 系统 是 对 知识 库 中 有 

















样 进行 。 多 数 决 策 问题 都 可 以 




















而 整个 表 包 含 了 相应 知识 库 中 所 有 范畴 的 描述 ， 
































决策 表 可 以 根据 知识 表达 系统 定义 如 下 : 





S=(U, 4) 为 一 知识 表达 系统 ， 


T 





具有 条 人 











11.3.2 ”决策 逻辑 语言 





我 们 把 数据 表 看 作 是 一 种 特殊 逻辑 模型 ， 这 中 
结论， 我 们 将 使 ) 








的 知识 推 
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j 决 策 表 形式 来 表示 ， 这 一 了 


C, DcA FER Je 
属性 和 决策 属性 的 知识 表达 系统 可 表示 为 决策 表 ， 记 作 T=(U, A, C, D) 或 简称 CD 决 
策 表 。 关 系 IND(O) 和 关系 IND(D) 的 等 价 


RAN 

















[ 具 在 决策 应 用 中 起 着重 要 的 作用 。 
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E 子 集 ， 分 别称 为 条 件 属性 和 决策 属 
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类 和 决策 类 。 








称 为 决策 逻辑 。 它 将 用 来 从 知识 表达 系统 所 
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由 于 我 们 主要 感 兴 
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点 是 一 致 或 不 一 致 ， 因 而 我 人 
在 这 里 我 们 定义 和 讨论 
题 联结 词 : 与 、 或 、 非 等 ， 


























趣 的 是 决策 逻辑 ， 
法 这 个 术语 来 表示 一 个 决策 规则 的 集合 。 另 外 ， 普 通 公式 可 以 为 真 或 为 假 ， 在 这 上 
策 算法 作为 公式 的 集合 没有 为 真 为 假 的 怕 


y E 


的 决策 逻辑 语言 日 
通过 标准 的 方法 构 
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通常 的 


YE 





是 指 一 系列 的 指令 , 这 里 我 们 仍然 用 


S 
策 算法 作为 公式 的 集合 ， 决 策 算 法 的 基本 特 
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虑 数据 的 一 致 性 ， 用 计算 的 方法 从 数据 中 











E 导 规则 。 




















原子 公式 组 成 ， 公 式 是 一 种 属性 -数据 对 ， 用 命 
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H^ 
(1) A 一 一 属性 常数 集合 ; 
(2) V-UV,, acA, V—— 
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成 复合 公式 。 
IF: 
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(3) 命题 联 词 的 集合 : (vA 一 , =}， 分 别 表示 : Ae. PH. A. HS IT. 
我 们 注意 到 ， 命 题 联 词 符号 可 以 看 作 迪 辑 联 词 :“ 非 “或 “与 ”“ 当 ……， 则 …*…”“ 当 
AKA”. 

基本 表达 不 包含 变量 ， 其 表达 仅 由 属性 和 属性 值 符号 、 命 题 联 词 、 辅 助 符号 〈 如 括号 ) 等 
构成 。 

决策 逻辑 语言 的 公式 集合 是 满足 下 列 条 件 的 最 小 集合 : 
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(1) 


(2) 


11.3.3 











公式 (a, vV RHEN av) 成 为 初等 原子 公式 ， 是 对 于 任何 aca H veV, INR wa 
语言 的 公式 ; 

如 果 0 和 v 为 决策 罗 辑 语言 的 公式 ， 则 ~6, 9vw, Ory, 02, 0=y 也 是 决策 逻辑 语言 的 公 
式 。 

决策 逻辑 语言 的 语义 







































































公式 是 用 来 描述 论 域 中 对 象 的 工具 ,可 以 用 来 描述 论 域 中 具有 某 些 性 质 的 对 象 的 子 集 。 例 
如 在 原子 公式 中 ， 有 序 对 (a, V) 解 释 为 对 属性 a AE v 的 所 有 对 象 的 描述 。 
为 了 准确 地 表达 决策 逻辑 语言 , 我 们 可 以 用 模型 和 可 满足 性 的 概念 来 定义 决策 逻辑 语言 的 


Tarski 式 
的 含义 ， 




















Ay TA 


语义 ， 即 使 用 模型 来 表示 知识 表达 系统 S=(U, A), EUM S 描述 论 域 U 中 谓词 符号 (a,v) 
表达 了 某 些 对 象 的 性 质 。 利 用 可 满足 性 的 概念 来 定义 决策 逻辑 语言 ， 即 : 
















































































如 果 S 是 可 理解 的 , 一 个 对 象 xsU 满足 S=(U,A) 中 的 公式 0,， 且 记 为 xj=s9( 简 记 为 Xj=6)， 
当 且 仅 当 满足 下 列 条 件 时 : 























(1) 当 且 仪 当 f(a, x)=v, x|=(a,v); 




















(2) 当 且 仪 当 非 x|=0, x|=~0; 








G) 当 且 仅 当 x[-0 E x|=y, x|-Ovy; 


























(4) AACS x|-04l xw, xl=9Ay; 




















作为 上 述 条 件 的 推论 ， 我 们 得 到 : 











当 








仅 当 x[7-0vy, x|[-02w; 

















当 


仅 当 x|-0>wAll x|=y8, x|=w=0。 











“40 





0s (x eU, x|=s0} 























MON S 中 公式 6 的 含义 。 这 样 含义 的 自 变量 是 语言 的 公式 ， 其 值 是 系统 中 对 象 集合 的 子 集 。 





下 面 这 个 命题 解释 了 公式 的 含义 。 

















命题 11.1 
(1)|(a, v)|s={xeU: a(x)=v}; 





(6) 


~0|s=-|Ols; 

6vyls=|6|lswlqls; 
Owls=|0lsN wls; 
0—>wls=-|0lsu|wls; 


0=wls=(|0ls yl A(-|0ls -lyls) 





























可 见 公 式 的 含义 就 是 所 有 通过 公式 6 表达 的 对 象 的 集合 , 或 者 说 公式 的 含义 是 对 象 集 |els 的 知识 


表达 语言 
在 我 们 的 逻辑 中 ， 我 们 也 要 用 “ 真 ” 这 个 概念 ， 当 且 仅 当 lels=U， 即 系统 中 论 域 的 所 有 对 





言 中 的 描述 。 

































































象 满足 该 公式 ， 公 式 9 称 为 在 知识 表达 系统 S 中 为 真 。 
当 且 仅 当 |9ls=lyls， 公 式 6 和 v 在 S 中 是 等 价 的 。 
下 面 的 命题 给 出 了 所 介绍 概念 的 简单 性 质 。 
命题 11.2 
(1) 当 且 仅 当 |bls=U,|=s0; 
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(2) 当 且 仅 当 |6|s= ,|=s~0; 
(3) “HAX “Olsa s. 759 V; 
(4) “4 HACIA 0|s-]V/|s;| 02 VP © 














最 后 ， 我 们 再 次 强调 公式 的 含义 依赖 于 我 们 对 论 域 知识 的 了 解 ， 即 依赖 于 知识 表达 系统 ， 特 








别 是 一 个 公式 在 一 个 知识 表达 系统 中 可 以 为 真 ， 而 在 男 一 个 知识 表达 系统 中 也 可 以 为 假 ， 在 


我 们 的 研究 中 ， 它 们 起 了 一 个 特殊 
11.3.4 ”决策 逻辑 的 推演 
































的 作用 。 











前 面 我 们 介绍 的 语言 用 来 描述 一 个 特殊 知识 表达 系统 中 所 包含 的 知识 , 尽管 对 于 许多 知识 
表达 系统 ， 可 以 通过 不 同 的 对 象 集合 作为 共同 的 语言 处 理 ， 但 我 们 还 是 使 用 属性 的 同等 集合 
与 同等 属性 值 集 合 来 处 理 。 从 符号 学 的 观点 来 看 ， 所 有 这 些 系统 的 语言 都 是 等 同 的 ， 然 而 按 
照 不 同 的 对 象 的 集合 ， 它 们 的 语义 不 同 且 它 们 在 指定 的 知识 表达 系统 中 表示 的 性 质 也 不 同 。 



























































































































































决策 逻辑 的 所 有 公理 集合 由 命题 重复 逻辑 和 一 些 特殊 定理 构成 。 在 给 


























的 公理 之 前 ， 我 们 先 引入 一 些 辅助 概念 ， 使 用 下 列 缩写 : 








显然 ，|F=1 和 |=~0， 这 样 ，1 和 0 可 
形式 化 公式 通常 定义 如 下 : 


OAD =40 
0v © =arl 
以 分 别 代 表 真 或 假 。 




















(a1,V1)A(a2,V2)A DO ^(an, V5) 


这 里 ，vie v, (anas sa eP, A PcA， 上 述 形式 公式 称 为 P 基本 公式 。 对 于 属 





A， 上 述 形式 化 公式 就 称 为 A 基本 公式 。 




































































JEPEN S 中 的 所 有 满足 了 
式 定义 为 >(A)， 则 >(A) 代 表 了 S 中 














全 部 知识 。 具 体 地 说 ， 在 我 们 的 语言 表 中 的 每 一 行 由 一 个 特定 的 A 基本 公式 表示 ， 整 个 表 由 





所 有 这 样 的 公式 的 集合 表示 。 














当 PcA，6 为 P 公 式 ， 且 xseU， 若 对 =0， 则 6 称 为 S 中 xx 的 P 

用 条 件 属 性 集 描述 研究 对 象 的 出 发 点 类 似 。 

在 知识 表达 系统 S=(U,A) 中 ， 所 有 可 满足 A 基本 公式 的 集合 称 为 S 中 的 基本 知识 。 
口 




















具体 知识 表达 系统 












































性 常数 集合 








述 ， 这 与 我 们 前 面 介绍 的 














公式 的 分 解 ， 当 P=A 时 ， 知 识 表 达 系 统 S=(U,A) 的 特征 公 
的 所 有 满足 A 基本 公式 的 分 解 ， 表 征 了 系统 $ 中 所 包含 的 


















































下 面 给 出 决策 逻辑 的 一 些 公理 : 











— 

— 

2 
] 





TFE— acA, wueV, H 


| veu, 4£7E(a,v)(a,u)=0; 


(2) X*FFft—aeA. veV, 存在 v(a,v)=1; 
(3) 对 于 任 一 asA，uesVa， 且 vz0， 存 在 ~(a,vj=v(a,u)。 


























公理 (1) 是 基于 这 样 的 假设 : 每 一 个 
它 不 可 能 是 蓝 色 或 绿色 。 



































对 象 对 于 每 一 个 属性 只 有 一 个 确 














切 的 值 。 例 如 某 物 为 红色 ， 





公理 (2) 是 基于 这 样 的 假设 ; 每 一 个 属性 对 于 系统 中 每 一 个 对 象 必 须 有 一 个 它 的 值 域 。 例 








如 当 问 题 中 的 属性 为 颜色 时 ， 则 每 个 对 象 必须 
































有 某 种 颜色 ， 这 种 颜色 就 是 这 个 属 必 





的 值 。 





公理 (3) 说 明 这 样 一 个 问题 ， 即 我 们 可 以 省 略 和 否定 词 ， 也 就 是 我 们 可 以 说 一 个 对 象 具 有 某 














一 种 性 质 ， 而 不 是 说 它 不 具有 另外 
是 说 它 不 具有 红色 。 

命题 11.3 

对 于 任何 PcA, 
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某 些 性 质 。 例 如 我 们 可 以 说 某 物 是 绿 : 








多 的 或 蓝 





色 的 ， 而 不 
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|=s Xs(P) = 1 
命题 11.3 表明 知识 表达 系统 中 所 包含 的 知识 是 目前 阶段 所 能 获得 的 全 部 知识 ， 且 对 应 所 谓 的 
闭 词 假说 。 
当 且 仪 当 公 式 6 通 过 推理 规则 的 有 限 运算 ， 可 以 从 公式 Q 的 公理 和 公式 导出 时 ， 我 们 称 公 
式 6 是 由 一 个 公式 @Q 的 集合 可 导出 ， 记 为 9|-6。 当 公式 6 由 公理 唯一 可 导出 时 ， 则 公式 6 称 为 决 
策 罗 辑 的 一 个 定理 ， 简 记 为 |-6。 
当 且 仅 当 公式 9A~6 是 由 O 不 可 导 时 ， 公 式 @Q 的 集合 称 为 一 致 的 。 


11.3.5 规范 表达 形式 


知识 表达 语言 中 的 公式 可 以 用 一 种 规范 表达 形式 ， 这 种 形式 与 经 典 命题 相似 。 

4 PcA 为 属性 子 集 ，6 为 知识 表达 语言 中 的 一 个 公式 。 当 且 仅 当 69= 纪 或 96=1， 或 者 6 是 一 
A S 中 非 空 P 基本 公式 的 一 个 分 解 〈 如 果 |9ls# 儿 ,公式 9 是 非 空 的 )， 我 们 称 9 是 属于 S 中 的 P 
规范 形式 ，A 规范 形式 则 称 为 规范 式 。 

命题 11.4 

6 为 决策 逻辑 语言 中 的 一 个 公式 ，P 包含 6 所 有 的 属性 ， 若 满足 公理 (1D) 一 3) 和 公式 Zs(A)， 
WP 规范 形式 中 有 一 个 公式 w， 使 得 |-6=y 成 立 。 

可 见 ,为 计算 公式 的 规范 形式 , 我们 可 以 通过 命题 推演 和 知识 表达 系统 的 一 些 公理 来 变换 。 


11.3.6 ”决策 规则 和 决策 算法 


在 则 辑 语言 中 ， 含 义 6-* 平 称 为 知识 表达 语言 中 的 决策 规则 ，6 和 平分 别称 为 决策 规则 的 前 
驱 和 后 继 ， 类 似 于 前 面 我 们 所 说 明 的 用 条 件 属性 和 决策 属性 描述 研究 对 象 ， 它 们 表达 一 种 因 
当 S 中 决策 规则 6-* 平 为 真 时 ， 我 们 说 该 决策 规则 是 S 中 一 致 的 ， 否 则 说 该 决策 规则 是 S 
中 不 一 致 的 。 当 决策 规则 是 S 中 一 致 的 时 ， 相 同 的 前 驱 必 导致 相同 的 后 继 ， 但 同一 种 后 继 不 

定 必需 是 同一 前 驱 产 生 的 。 
当 9 焉 平 为 一 个 决策 规则 时 ， 且 8 和 平分 别 为 P 基本 公式 和 Q 基本 公式 ，PQ 已 知 ， 则 决策 
PIMOS PBA PQ 基本 决策 规则 ,简称 PQ 规则 ， 这 里 的 BQ 属性 可 以 看 成 前 面 我 们 所 说 的 条 





























































































































































































































































































































































































































































































































件 属性 和 决策 属性 。 
"gi, 05, e 9a》 平均 为 基本 决策 规则 时 ， 决 策 规则 91v92v……v6s3 平 称 为 基本 
HEIO OY, OF, «n 0" 的 组 合 ， 简 称 为 组 合 决策 规则 。 
为 了 考察 PQ 规则 是 否 为 真 ( 是 否 一 致 或 不 一 致 )， 我 们 可 以 利用 下 面 的 命题 。 
命题 11.5 
当 且 仅 当 所 有 的 {PvQ} 基 本 公式 在 PQ 规则 的 前 驱 的 {PvQ} 规 范 形式 中 出 现 , 并 且 也 在 PQ 


规则 的 后 继 的 {PvQ} 规 范 形 式 中 出 现 ， 则 S 中 的 PQ 规则 为 真 〈 一 致 的 )， 否 则 为 假 〈 不 一 臻 
的 )。 






































决策 逻辑 语言 中 任何 有 限 决策 规则 集 称 为 决策 罗 辑 语言 中 的 决策 算法 , 而 任何 有 限 基本 决 
策 规则 称 为 一 个 基本 决策 算法 。 
当 基 本 决策 算法 中 所 有 的 决策 规则 都 是 PQ 决策 规则 时 ， 该 算法 称 为 PQ 决策 算法 ， 或 简 
FK PQ SHE, WEER, Q). SAM4S 中 所 有 决策 规则 是 一 致 的 ， 则 S 中 PQ 算法 是 一 致 的 ， 
否则 PQ 算法 是 不 一 致 的 。 

如 果 对 于 任 一 xsU， 算 法 中 存在 一 个 PQ 规则 6-* 平 ， 使 得 $ 中 xXFOAW, WIS 中 PQ 算法 
是 完备 的 ， 和 否则 该 算法 是 不 完备 的 。 

对 于 给 定 一 个 知识 表达 系统 , 系统 中 属性 PB Q 的 非 空子 集 可 以 唯一 地 确定 一 个 PQ 决策 算 
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11.3.7 ”决策 规则 中 的 一 致 性 和 不 分 明 性 
为 检验 一 个 决策 算法 是 否 一 致 ， 我 们 必须 考虑 它 的 全 部 决策 规则 是 否 为 真 ， 我 们 可 以 利 





用 


命题 

















5， 而 下 面 的 








命题 





命题 11.6 











当 且 仅 当 对 于 PQ RREY 

















则 给 了 一 个 更 为 简单 的 方法 。 

















法 中 PQ 决策 规则 6-* 平 是 S 中 一 致 的 。 


同时 我 们 注意 到 , 为 了 检验 决策 规则 6-* 平 是否 为 真 , 我 们 必须 订 
AO) 能 够 将 决策 类 平 同 所 讨论 的 决策 算法 的 





也 可 以 ) 


约 简 在 工程 应 
的 手段 就 能 获得 同样 要 求 
用 决策 表 表 示 决 策 算法 比 有 

















在 我 们 




















不 分 明和 


制定 决策 时 
有 与 约 简 前 的 决策 表 相 同 


中 任 一 PQ 2 

















他 决策 类 区 分 3 


法 ， 也 就 是 说 PQ 算法 和 PQ 决策 表 可 以 看 作 是 等 价 的 。 











的 概念 代替 。 显 然 ， 若 相同 的 前 








KE 有 不同 的 后 


11.4 决策 表 的 约 简 


BLAS Se 
是 否 需 要 


全 部 的 条 件 属 怕 
的 功能 ， 但 是 约 简 





L Ab 
BE] fem 

















后 的 决策 表 具 













































































11.4.1 属性 的 依赖 性 
要 处 理 数据 ， 进 行 决 策 ， 就 要 分 析 数 据 的 内 在 联系 ， 讨 论 属性 的 依赖 性 。 这 里 所 讨论 的 





属性 的 依赖 性 和 我 们 前 面 介绍 的 知识 的 依赖 怕 
时 ， 我 们 称 $ 中 属性 集 2 全 依赖 于 (简称 依赖 ) 属性 集 P， 并 记 作 P>O; “4S! 
致 的 PO 决策 算法 时 ， 我 们 称 5 中 属性 集 O 部 分 依赖 于 属性 集 P. 
如 前 面 的 知识 的 依赖 性 的 定义 ， 我 们 也 可 以 利 月 
HP, Q) 为 5S 中 的 一 个 PO 算法 ,算法 中 所 有 一 致 的 PO 规则 的 集合 称 为 算法 的 正 域 , 记 为 POS(P， 
QO)。 决 策 算法 的 正 域 POS(P, gO) 是 不 一 致 算法 的 一 致 部 分 ， 显 然 ， 当 且 仅 当 

























































































j 中 相当 重要 ， 同 样 的 决策 可 以 通过 基 了 
的 结果 。 严 格 地 说 ， 虽 然 决策 算法 和 坟 
昌 决 策 则 辑 语言 的 形式 更 紧凑 ， 更 易于 划 
同样 ， 决 策 算法 也 可 以 从 过 辑 方面 来 表达 决策 表 ， 所 以 两 者 的 有 些 性 质 可 以 相互 也 



































.SEBULIJO; >P, 0-0,, AAPP, N PQ RRS 


























FE 明 该 决策 规则 的 前 驱 ( 公 








和 ， 这 表明 “ 真 ” 这 


概念 有 时 




















Ak, 





进行 决策 表 的 约 简 。 约 简 后 
有 更 少 的 条 件 属 ' 
更 少量 的 条 件 ， 使 我 们 通 
策 表 是 两 个 不 


E 解 ， 是 一 














— 


规则 是 不 一 致 的 。 


H 


FN 





的 决策 表 
此 决策 表 的 
过 一 些 简单 
同 的 概念 ， 但 
种 简便 的 方法 ， 


€. Bl 






















































































或 card(POS(P, Q))ecard((P, 0)) 时 ， 算 法 是 不 一 致 的 。 
对 于 一 个 PO 算法 ， 算 法 的 一 致 性 程度 用 依赖 度 来 表示 ， 并 定义 为 : 
k=card(POS(P, Q)ycara(P, Q) 
GA, Oskxl. CA k=1 时 ， 算 法 是 一 臻 的 ， 当 kel 时 ， 算 法 是 不 一 致 的 。 当 PO 算法 有 依 


ABRE KH, SEA per 
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11.4.5 一 致 决策 表 的 约 简 


AS 
IF o 


(P o5 


我 们 知道 ， 利 
IND(A-C)=IND(A)IN A 是 元 余 的 ， 当 4-C 在 4 中 



































] 不 分 明 性 可 以 研究 知识 的 约 简 ， 


PE O XT P 的 依赖 度 为 £， 并 记 为 P>. 


日 


D 

















JUAR 




















在 这 里 ,我 们 讨论 的 问题 将 用 逻辑 方式 表示 ,并 





























(POA — 8h 





法 ， aeP, 在 (P Qf 





























wk -H 
YAP JS 


性 








acne, Aan 





























法 中 ， 当 且 





仅 当 























IE S 中 存在 属性 集 Cod, M 
C 在 9 中 是 依赖 的 时 ， 则 C XE A 的 约 

















利 














不 可 省 的 。 
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JEA — BH 








E 是 相对 应 的 。 当 5 中 存在 一 一 致 的 PO 决策 算法 

















存在 一 不 一 





昌 正 域 的 概念 来 定义 属性 集 之 间 的 依赖 度 。 





POS(P, O)#(P, Q) 




















仅 当 











来 做 出 判断 和 进行 约 


((P-{a}), 9) 算 法 为 一 致 的 时 ， 我 们 称 
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t AR RU RS Js TH 
RcP, Mf 























法 (P OF P 的 约 简 时 ， 


I 识 表 示 空 间 维 





TE, EXTA 














算法 (P O) 
















































































命题 11.7 


这 里 ，RED(P OM URS 
AY 















































命题 1, 1 








等 于 1 时 ， 我 人 
命题 11.9 




















中 所 有 不 可 省 





EUM 

















CORE(P. Q)J-^RED(P. Q) 


法 (P 0) 所 有 约 简 的 集合 。 

， 我 们 再 介绍 一 下 决策 表 中 属性 的 一 些 性 质 : 
命题 11.8 
当 且 仅 当 C>D, WRK T-(U, A, C, D) 是 一 致 的 。 
算 条 件 属 性 和 决策 属性 间 的 依赖 程度 来 检查 一 致 性 。 当 依赖 程度 
门 说 决策 表 是 一 致 的 ， 否 则 不 一 致 。 












































EaeP 是 (P 0O) 算 法 中 不 可 省 的 ， 则 算法 (P 09) 称 为 独立 的 。 如 
法 (R,，0O) 是 独立 日 一 致 的 ， 则 R 称 为 算法 (P 0) 中 PP 的 约 简 。 如 果 属 性 子 集 R 为 算 
算法 (R, 0) 称 为 算法 (P g) 的 约 简 ， 算 法 的 约 简 是 去 掉 不 必要 的 条 们 
数 进行 约 简 。 
的 属性 的 集合 称 为 算法 (P QR, WE COREE O)。 








FH. 


ANI 








EFS 











pim 








Ha 





每 个 决策 表 T-(U, A, C, D) 都 可 以 唯一 分 解 为 两 个 决策 表 T=(U, A, C, DJ) 和 T;7-(U», A, C, 


D)， 这 样 使 得 表 T;  C24D M T; UH 

















1, WU 







































































决策 表 的 约 简 步 骤 如 下 : 


(1) 对 决策 表 进 行 条 件 属性 的 约 简 ， 即 从 决策 表 中 消去 某 











(2) 消去 重复 的 行 ; 


(3) 消去 每 一 决策 规则 中 属性 的 元 余 值 。 










































































应 该 注意 到 ， 与 知识 表达 系统 的 一 般 表 达 相 比 ， 这 里 的 行 不 表示 对 任何 实际 对 象 的 


此 重复 行 表 示 的 是 同 检 
约 简 后 的 决策 表 是 





的 决策 ， 所 以 可 以 把 它 消去 。 









































但 它 


Ly eui 








个 不 完全 的 决策 表 ， 它 仅 包含 
具 系统 的 所 有 知识 。 
































11.4.2.1 条 件 属 性 的 约 简 


A.Skowron 提出 了 
很 多 优点 ， 尤 其 使 核 与 约 


















































那些 在 决策 时 所 必需 的 条 件 属 | 





R, E 

















H CoD. XE U;-POScD), U=UBNC(X), XeUJIND(D). 
命题 2 可 见 , n BAN SERIA BE ORE, ARR ANS, BI RE“) 
MERATE: 其 中 一 个 表 完 全 不 一 致 ， 依 赖 度 为 0; 男 一 个 表 则 


命题 2 可 以 将 表 分 
完全 一 致 ， 依 赖 度 为 1。 当然， 只 有 依赖 度 大 于 0 且 不 等 于 1 时 ， 这 一 分 解 才能 进行 。 





生 值 ， 





分 明和 矩阵 (Discernibility Matrix) 的 形式 来 表示 知识 的 方法 , 这 种 表示 方法 有 
简 等 概念 的 计算 较为 简单 ， 其 主要 思想 为 : 


Be 5=(U,4) 为 一 个 知识 表示 系统 ， 其 中 U six An ,Xi 为 所 讨论 的 个 体 ， 二 1, 2，…, 0, 


A ={a;, az 


核 就 可 以 定义 为 分 明和 矩阵 中 所 有 只 有 一 个 元 素 的 矩阵 项 的 集合 ， 即 
CORE(A)-(a€ A: ci-(a)， 对 一 些 i,j} 
我 们 也 很 容易 看 出 相对 于 集合 包含 关系 运算 而 言 ， 若 属性 


的 一 个 最 小 属性 子 集 ， 则 称 属性 集合 BcA 是 A 的 一 个 约 简 。 换 言 之, 约 简 是 这 样 的 最 小 属性 
子 集 ， 








因 
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5 gj» 好 为 个 体 所 有 的 属性 ， 产 1.2 … mo 
知识 表达 系统 S 的 分 明 矩阵 M(S)-[cilwxs， 其 中 和 珑 阵 项 定义 如 下 ; 


cy= {aS A: 











a(xi)~a(xj), ij-12,*,nj 























此 oi 是 个 体 xi 与 x; 有 区 别 的 所 有 属性 的 集合 ， 利 用 分 明和 矩阵 可 以 方便 地 求解 属性 集合 
A 的 核 与 约 简 。 
























































集合 BCA 是 满足 下 列 条 伯 





BN eyo. XT M(S) 中 的 任 一 非 空 项 està 





它 能 够 区 分 用 整个 属性 集合 A 可 区 分 的 所 有 对 象 。 








T M(S) 是 对 称 的， 























且 对 于 每 个 =1,2,…,n, ei; 所 以 可 以 月 
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日 M(S) 的 下 三 角 来 表示 M(S). 


1<j<i<n. 


对 于 每 一 个 分 明和 矩阵 M(S) 对 应 唯一 的 分 明 函 数 fis) C Discernibility Function ， 它 的 定义 




















如 下 : 


FLAS S 的 分 明 函 数 fys) 是 一 个 有 m- 元 变量 a1,…,am(ai ESA， 计 1,…,m) 的 布尔 函数 ， 它 
是 Vei 的 合 取 ， Neil 是 矩阵 项 Cij | 的 各 元 素 的 析 取 ， 1<j<i<n ci 天 o, 





















































根据 分 明 函 数 与 约 简 的 对 应 关系 ，A.Skowron 提出 了 计算 信息 系统 S 的 约 简 RED(S) 的 方 





法 : 





1) ”计算 信息 系统 S 的 分 明和 矩阵 M(S) 
2) 计算 与 分 明和 矩阵 M(S) 对 应 的 分 明 函 数 fmo) 
































3) ”计算 分 明 函 数 fs) 的 最 小 析 取 范式 ， 其 中 每 个 析 取 分 量 对 应 一 个 约 简 
需要 说 明 的 是 该 方法 可 以 求 出 所 有 的 约 简 ， 但 是 只 适合 于 非常 小 的 数据 集 。 
为 了 对 决策 表 进行 约 简 ， 我 们 可 以 采用 分 明和 矩阵 的 方法 对 条 件 属性 进行 约 简 ， 只 不 过 我 








































































































们 是 通过 决策 属性 来 得 到 等 价 类 ， 对 决策 属性 相同 的 个 体 不 予 比较 。 考 虑 决策 表 11.1。 
表 11.1 信息 表 


outa | ete [ae | 
uj 1 0 2 1 0 









































其 中 条 件 属 性 为 a, b, c d, WREE e, TUES MAN) HB EMEA 
表 11.2 4y HAE BE 















































由 此 分 明和 矩阵 很 容易 得 到 核 为 {c}, 分 明 函 数 fys) 为 c 信 (aVq)， 即 (a 八 c)V(c 八 qd), 得 到 两 个 约 





ffi (a, cy 和 {fc, d}o 














当 讨论 的 对 象 与 属性 的 规模 较 大 时 ,矩阵 将 占有 大 量 的 存 








赌 空间。 但 是 经 过 分 





析 ， 分 明和 矩阵 起 到 解释 的 作用 ， 比 较 直 观 ， 其 实质 是 利用 有 逻辑 运算 中 的 吸收 律 和 
其 他 演算 法 则 来 达到 数据 约 简 的 目的 ， 所 以 可 以 省 略 生 成 分 明和 矩阵 的 中 间 环 节 ， 
从 表 中 提取 关于 属性 的 逻辑 公式 ， 采 用 基于 广义 决策 逻辑 公式 演绎 算法 ， 也 就 是 
利用 决策 表 直 接 提取 逻辑 公式 ， 并 在 逻辑 演绎 系统 下 化 简 该 公式 ， 即 一 边 提取 那 
些 关 于 个 体 是 分 明 的 属性 《决策 属性 相同 的 个 体 不 进行 比较 ) 并 生成 公式 ， 一 边 

































































化 简 该 公式 ， 最 后 将 公式 化 为 析 取 范式 ， 则 每 个 析 取 项 对 应 一 个 约 简 ， 达 到 属性 


约 简 的 目的 。 
Wj 与 wz, us, U4, Us 关于 属性 的 值 是 分 明 的 分 明 合 取 范 式 : (avevd)^(avd) 
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经 引用 吸收 律 等 逻辑 运算 得 到 简化 式 (D: avd 
up Ej us, Ug, Us 关于 属性 的 值 是 分 明 的 分 明 合 取 范式 并 加 皮 : 
(avd)^(avcvd)^c^(avbvcvd) 


经 引用 吸收 律 等 逻辑 运算 得 到 简化 式 包 : (avd)^c 























us 5 U4, Us 关于 
(avd)aca(avd) 


























属性 的 值 是 分 明 的 分 明 合 取 范 式 并 加 上 @): 





经 引用 吸收 律 等 逻辑 运算 得 到 简化 式 @): (avd)ac 
4 与 Ws 关于 属性 的 值 是 分 明 的 分 明 合 取 范式 并 加 上 @@): 

















(avd)^c ^(avbvd ) 






































经 引用 吸收 律 等 逻辑 运算 得 到 简化 式 由 : (avd)^c 
对 外 式 施 行 ^ 对 v 的 分 配 律 运算 ， 得 到 如 下 的 分 明 析 取 范 式 : (anc)v(cad) 
































fa, cy 和 {fc, di. 


这 样 ， 表 11.1 就 可 以 简化 为 如 下 的 两 个 表 : 








表 11.1 对 应 的 一 种 简化 决策 表 


由 此 得 到 两 个 约 简 : 
表 11.3 
表 11.4 表 11 





.1 对 应 的 一 种 简化 决策 表 








11.4.2.2 行 的 约 简 











对 决策 表 中 的 习 














E 复 的 行 要 删除 ， 因 为 它们 的 条 件 属性 和 决策 属性 都 相同 ， 都 表示 同一 条 



































决策 规则 。 男 外 ， 决 策 规则 的 列表 顺序 不 是 本 质 性 的 ， 所 以 表 11.3、 表 11.4 都 可 进行 的 约 简 ， 


如 表 11.3 可 化 为 : 
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表 11.5 ” 表 11.3 的 化 简 
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11.4.2.3 属性 值 的 约 简 














对 于 决策 表 而 言 ， 属性 值 的 约 简 就 是 决策 规则 的 约 简 。 决 策 规则 的 约 简 是 利用 决策 逻辑 分 
别 通 过 消去 决策 算法 中 每 个 决策 规则 的 不 必要 条 件 ， 它 不 是 整体 上 约 简 属性 ， 而 是 针对 每 个 

































































决策 规则 ， 去 掉 表 达 该 规则 时 的 元 余 属 性 值 ， 以 便 进一步 使 决策 算法 最 小 化 。 

































































前 面 我 们 已 经 定义 , 当 6 为 己基 本 公式 且 REP 时 , BAAR 表示 通过 从 6 中 消去 全 部 初等 公 
式 (a, VE SIR] R SEX, HaeP—R. 
OZ 为 PO HU, HaeP, 4AM 4-00 VA [-s9(P— {aor 我 们 称 属性 a 是 规则 









































2 一 Y 中 可 省 略 的 。 和 否则 ， 属 性 a 是 规则 2 一 Y 中 不 可 省 略 的 。 





T 

















立 的 ， 
的 约 简 时 ，6R 一 2 叫做 被 约 简 。 














在 规则 2 中 ， 若 所 有 属性 a EWI YEAH ARRAY, Woo Pe MOTI. 3105 38 


= 50> VÀ |=sAROY, 属性 子 集 RCP 称 为 PO MMO vitz. RFE PO UU ov 





6 一 2 中 所 有 可 省 略 的 属性 集 称 为 规则 6 区 的 核 ， 记 作 CORE(0>¥) 
命题 1.10 — CORE(PQ)-^RED(PQO) 
这 里 RED(P-O) 是 所 有 PO 约 简 的 集合 。 




















正如 我 们 所 说 ， 决 集 规 则 的 约 简 就 是 利用 决策 逻辑 消去 决策 算法 中 每 个 决策 规则 的 不 必 


要 条 件 ， 即 计算 算法 中 的 每 个 决策 规则 的 核 和 约 简 。 








对 决策 表 进行 属性 值 的 约 简 ， 也 就 是 决策 规则 的 约 简 ， 实 际 上 是 针对 条 件 属性 而 言 。 而 




















每 一 行 都 对 应 一 条 决策 规则 ， 所 以 要 计算 某 决策 规则 的 条 件 属性 的 核 值 ， 可 先 把 一 个 该 行 ! 
条 件 属性 的 值 从 表 中 删 去 ， 然 后 看 剩 下 的 该 行 中 条 件 属 性 的 值 是 否 唯一 决定 此 行 中 的 决策 属 
性 ， 若 不 是 ， 这 个 值 就 是 核 值 ;， 求 完 某 决策 规则 的 条 件 属 性 值 的 核 值 后 ， 再 去 求 它 的 条 件 属 
性 值 的 约 简 ， 即 将 一 些 条 件 属性 值 加 入 到 核 值 中 ， 得 到 的 各 条 件 属 ' 

























































































p 
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TH 
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1H 
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EH 
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生 值 能 保证 表 的 一 致 性 ， 





















































并 
因为 它们 还 是 表示 相同 的 决策 规则 。 





每 个 条 件 属性 值 都 不 可 省 。 若 在 决策 表 的 约 简 表 中 也 出 现 了 重复 行 ， 也 应 该 将 其 删除 ， 


以 表 11.5 为 例 ， 在 第 一 条 决策 规则 aycs>eo 中 ， 其 中 a) 是 核 值 ， 因 为 规则 aes CRM 














c AB, cre, (Kia) 为 假 
的 所 有 核 值 如 表 11.6 所 示 。 





























， 故 不 能 去 掉 ww 。 按 此 种 方法 计算 ， 表 5 中 每 一 决策 规则 


X116 X L5 的 核 值 表 














求 完 所 有 的 核 值 后 ， 再 求 每 一 决策 规则 的 约 简 。 如 第 一 条 决策 规则 有 一 个 约 简 : aeo 














内 为 这 个 决策 规则 能 保持 表 的 一 致 








E。 如 此 可 求 得 表 11.5 的 约 简 表 。 


表 11.7 X ALS 的 约 简 表 
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该 表 对 应 的 决策 算法 为 : 


Q]Vd2?€0» Cj€]» A”gC2>e?2> 


11.4.2.4 属性 的 重要 性 
前 面 已 经 提 到 ， 约 简 是 粗糙 集 用 于 数据 分 析 的 重要 概念 ， 而 所 有 约 简 的 计算 是 NP-hard 
问题 ， 因 此 运用 局 发 信息 来 简化 计算 以 找 出 最 优 或 次 优 约 简 是 必要 的 。 
现在 在 求 约 简 的 算法 一 般 都 使 用 核 作 为 计算 约 简 的 出 发 点 ， 计 算 一 个 最 好 的 或 者 用 户 指 
定 的 最 小 约 简 。 算 法 将 属性 的 重要 性 作为 局 发 规则 ， 按 照 属性 的 重要 度 从 大 到 小 逐个 加 入 属 
性 ， 直 到 该 集合 是 一 个 约 简 为 止 。 各 算法 对 属性 重要 度 的 度量 不 同 ， 目 前 的 报道 涉及 到 以 下 
儿 种 度量 : 

(1) 根据 依赖 度 的 变化 来 定义 

W $ 为 一 决策 表 ，C、D 分 别 为 条 件 属性 集 或 决策 属性 集 。 RCC， 对 于 任意 属性 ae C-R 
的 重要 性 定义 如 下 : 




































































































































































































































































SGF(a,R,D)=k(RU {a}, D)—A(R,D) 
HEH, K(R,D)ecard(POSs(D))/card(POSc(D)). 

















SGF(a,R,D)=y RU{a} Y R 











EP, y p=card(POS,(D))/card(U). 

以 上 两 种 定义 实质 是 相同 的 ， 因 为 当 决 策 表 给 定 后 ，card(POSc(D)) 和 card(U) 都 是 常数 ， 
尽管 重要 性 的 取 值 不 同 ， 但 是 它们 对 属性 重要 性 的 排序 是 相同 的 。 

(2) 3b Mog X. 

假设 HD/R) 为 D AAMT RARER, JE a 的 重要 性 定义 如 下 : 

SGF(a,R,D)= H(D/R)- H(D/ RU {a}) 

(3) 根据 在 分 明年 阵 中 出 现 的 频率 

WM 是 根据 决策 表 S 构造 的 分 明和 矩阵 ， 令 p(a) 为 在 M 中 属性 a 的 属性 频率 函数 ， 它 定义 
为 a 在 M 中 出 现 的 次 数 ， 则 



















































































SGF(a,R,D)= p(a) 


11.4.3 非 一 致 决策 表 的 约 简 

















只 有 当 所 有 的 决策 规则 都 是 一 致 时 ， 决策 表 才 是 一 致 的 ， 否则 决策 表 是 不 一 致 的 。 对 于 一 
致 的 决策 表 比 较 容 易 处 理 ， 在 进行 约 简 时 ， 只 要 判断 去 掉 某 个 属性 或 某 个 属性 值 时 是 否 会 导 
致 不 一 致 规则 的 产生 。 而 对 不 一 致 表 进 行 约 简 时 就 不 能 再 使 用 这 种 方法 了 ， 本 章 将 介绍 两 种 
化 简 不 一 致 表 的 方法 : 一 种 是 考虑 正 域 的 变化 ， 另 外 一 种 是 将 不 一 致 表 分 成 完全 一 致 表 和 完 
全 不 一 致 表 两 个 子 表 。 

非 一 致 决策 表 的 约 简 步骤 与 一 致 决策 表 的 约 简 步骤 类 似 ， 值 得 注意 的 是 ， 前 面 提 到 一 至 
决策 表 的 约 简 步骤 ， 其 中 有 关于 重复 行 的 删除 ， 即 相同 的 决策 规则 可 以 删除 。 但 在 不 一 致 决 
策 表 中 ， 这 种 处 理 方法 将 要 视 决 策 规则 的 一 致 性 而 定 ， 若 决策 规则 是 一 致 的 ， 则 可 删除 ， 若 
是 非 一 致 的 ， 则 不 能 删除 ， 下 面 将 给 以 具体 说 明 。 
11.4.3.1 考虑 正 域 的 变化 

对 于 知识 表达 中 不 一 致 的 情况 ， 也 可 以 类 似 一 致 的 情况 那样 进行 决策 表 的 约 简 ， 即 考虑 
去 掉 某 些 属性 后 其 正 域 是 否 发 生变 化 ， 以 判断 该 属性 是 否 可 以 去 掉 。 若 (P 9O) 为 不 一 致 算法 ， 
aeP, “4 POS(P, 0)=POS(P-{a}, OWY, (P. 9) 算法 中 属性 a 是 可 省 的 ， 否则 属性 a 在 (P 0) 中 是 


















































~ 































































































































































































286 


ww ai bbt. com [1 HB DL O D D] 


不 可 省 的 。 

当 (P 9) 算法 中 所 有 的 属性 aeP 是 不 可 省 的 , 则 算法 (P 0) 称 为 独立 的 ,如 果 属 性 子 集 RCP, 
当 算 法 (R, 0) 是 独立 的 且 POS(P, O)=POS(R, 0) 时 ， 属 性 子 集 R 称 为 算法 (P OF P 的 约 简 。 
算法 (P 0) 中 所 有 不 可 省 的 属性 的 集合 称 为 算法 (P 0) 的 核 ， 记 作 COREE 0)。 
可 见 一 致 算法 是 不 一 致 算法 的 特殊 情况 。 
而 对 决策 规则 进行 约 简 时 ， 也 就 是 进行 条 件 属 性 值 的 约 简 时 ， 则 要 分 别处 理 : 

车 该 决策 规则 是 一 致 的 ， 首 先 要 计算 它 的 条 件 属性 的 核 值 ， 即 把 该 行 中 一 个 条 件 属性 的 
值 从 表 中 删 去 ， 然 后 看 该 行 中 剩 下 的 条 件 属性 的 值 是 否 唯 一 决定 此 行 中 的 决策 属性 ， 若 不 是 ， 
这 个 值 就 是 核 值 ， 求 完 其 条 件 属性 值 的 核 值 后 ， 再 去 求 其 条 件 属性 值 的 约 简 ， 即 将 一 些 条 件 
属性 值 加 入 到 核 值 中 ， 得 到 的 各 条 件 属 性 值 能 保证 决策 规则 的 一 致 性 ， 并 且 每 个 条 件 属性 值 
都 不 可 省 。 

若 该 决策 规则 是 非 一 致 的 ， 首 先 要 计算 它 的 条 件 属性 的 核 值 ， 即 把 该 行 中 一 个 条 件 属 性 
的 值 从 表 中 删 去 ， 然 后 看 根据 该 行 中 剩 下 的 条 件 属性 的 值 所 得 到 的 决策 属性 值 的 集合 与 未 删 
除 前 所 得 到 的 决策 属性 值 的 集合 是 否 相 同 ， 若 不 是 ， 这 个 值 就 是 核 值 ， 求 完 其 条 件 属性 值 的 
核 值 后 ， 再 去 求 其 条 件 属性 值 的 约 简 ， 即 将 一 些 条 件 属性 值 加 入 到 核 值 中 ， 保 证 得 到 的 决策 
属性 值 的 集合 与 原来 的 决策 属性 值 的 集合 相同 ， 并 且 每 个 条 件 属 性 值 都 不 可 省 。 

下 面 我 们 举例 说 明 采 用 这 种 方法 如 何 对 不 一 致 决策 表 进 行 约 简 。 

考虑 下 面 的 一 个 知识 表达 系统 : 




























































































































































































































































































































































































































































































































































































表 11.8 一 个 知识 表达 系统 的 决策 表 


a 
1 
2 
3 
4 
5 
6 
7 
8 





SON NFP FPN OF 
ee NY OF OF coc 
KBrPoNoOo Or N 
— NRF RF NY RF NY CO 




















XE, C={a, b, c RU D- (d, @} 分 别 为 条 件 属性 和 决策 属性 ,因为 UIC={{1,5), 0,83, (31, (41, 
{6}, {7}}, UID={{1}, {2,7}, {3,6}, {4}, {5,8}}, POScD)={{3}, {4}, {6}, {7}}, rdD)=4/8z1, 
这 表明 表 11.8 是 不 一 致 的 。 

去 掉 条 件 属性 ia 后 ，UIC 一 {o)={15 {2,7,8}, {3}, {4}, {63}, POSC- (D) ={{3}, {4}, 
{6}}#POSAD)， 所 以 属性 a 是 不 可 省 的 ， SRA PETE b Ja, UKC7 (0)-L,5). {28}, (3,6), 
{4}, 1 和，POSc -oOD) ={{3}, (44, 16517=POScCD)， 所 以 属性 六 是 可 省 的 ; 去 掉 条 件 属 性 c 
Jai» U(C— {c})={{1,5}, {2,8}, {3}, {4}, {6}, {73}, POSC- (D) ={{3}, {4}, {6}, {7}}=POSAD), 
所 以 属性 c 是 可 省 的 。 

此 可 得 到 ， 表 11.8 的 条 件 属 性 的 核 为 ag， 有 两 个 约 简 {a, b} 和 {a, c}。 考 虑 约 简 {a, b} xt 
应 的 表 11.9。 



















































































表 11.9 ”去掉 条 件 届 性 b 后 的 决策 表 


49 d? 
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a2, 





决策 属 








规则 的 


coo nN AUA LUNG 























所 有 核 值 如 表 11.10 所 示 。 

















表 11.10 表 11.9 条 件 属 





= aan alc 
Q 
SR 


Corer ON KF KF N 





0 
2 
1 
2 
1 
1 
2 
1 


对 表 11.9 进行 属性 值 的 约 简 ， 对 于 第 三 条 决策 规则 azbo>die/， 它 为 一 致 决策 规则 ， 其 
bo 是 核 值 ， 因 为 规则 adie, (去掉 bo) 和 bodie, 去掉 ay) 都 为 非 一 致 规则 。 
对 于 第 二 条 决策 规则 abdes EHIE- BOR, 
PERN (dies, doen EH bj) 后 ，ao 对 应 的 决策 属性 集 还 是 {diez, doer}; MEH ay 后， 已 
.9 中 每 一 决策 


























对 应 的 决策 属性 集 是 {dye2，qdze，，doe1}，ao 故 不 能 去 掉 。 按 此 种 方法 计算 ， 表 11 














性 的 核 值 表 








E: 





— NF KF N KF N OJS 


因此 ， 我 们 得 到 所 有 条 件 属 性 值 的 约 简 如 表 11.11 所 示 : 
表 11.11 表 11.9 条 件 属性 的 值 约 简 表 


设 


式 的 个 


它 被 定义 为 : ME 为 =K(|0^ HKA) TARERE T H 
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AN 
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1 
0 
2 
1 
1 
X 
2 
0 








0 和 Y 分 别 表示 条 件 和 决策 的 逻辑 公式 ， 
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GS 


pog eoe ey x 
Cor FP ON FF -— P 
eS N =e =e N KS N cc 
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A 中 ao 是 核 值 ， 因为 aob; 对 应 的 


L 























O> PERRA. RIH ARRE S 中 满足 公 











体 的 集合 ， 而 且 我 们 可 以 在 每 一 条 决策 规则 中 带 一 个 数值 ， 称 此 为 规则 






























































，K(S) 表 示 集 合 S 的 基数 ， 与 数学 中 





的 粗糙 算 子 ， 


规则 的 形式 为 : 6 于 m-(0, V). 


























]jIS| 表 示 有 相同 意义 ， 即 集合 5S! 


WA, OSHA Plo WRR O> PERES, ERTER. 


因 
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此 ， 表 11.11 对 应 的 决策 算法 为 : 





ww ai bbt. com DODODODODODOD 


的 元 素 个 数 。 


abo>o.s d2€9> 
ao >0.s d1e2, 
arb} de>, 
a3bovb;—d,e; , 
490.5 deer; 
ajb}> de>, 
abo>o.s doe; « 


11.4.3.2 分 成 两 个 子 表 

每 个 决策 表 T=(U, A, C, D) 都 可 以 唯一 分 解 为 两 个 决策 表 T;7(U1, A, C, DI T2=(U2, A, C, 
D), KHER Ti P C24D M TP CoD. XE U=POSCD), U;-oBNc(X), XeUIIND(D)。 
由 此 命题 可 见 , BAN PARE STE ORE, ARIAT ANB, BI ROBE 2) 
1， 则 可 以 将 表 分 解 成 两 个 子 表 : 其 中 一 个 表 完 全 不 一 致 ， 依 赖 度 为 0; 另 一 个 表 则 完全 一 致 ， 
依赖 度 为 1。 当然 ， 只 有 依赖 度 大 于 0 且 不 等 于 1 时 ， 这 一 分 解 才能 进行 。 分 解 后 所 得 到 的 完 
全 一 致 表 可 按照 第 四 章 所 提 到 的 方法 进行 约 简 ， 而 对 完全 不 一 致 表 可 不 处 理 ， 直 接生 成 带 粗 
烙 算 子 的 决策 规则 。 
再 依次 考虑 上 面 的 例 11.1， 表 11.1 可 分 解 为 如 下 的 两 个 子 对 
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表 11.12 完全 一 致 的 决策 表 





对 于 表 11.12, UC={{3}, {4}, {6}, 073)». UID-(,6). {4}, {7}}, POSAD)={{3}, {4}, {6}, 
{Th}, r(D)=4/4=1, PEE 11.12 是 完全 一 致 的 ， 该 表 中 所 有 的 决策 规则 是 一 致 的 。 
对 于 表 11.13, UlC={{1, 5}, {2,83}, UD={{1}, {2}, {5,8}}，rc(D)=0/4=0， 因 此 表 11.6 是 
完全 不 一 致 的 ， 该 表 中 对 应 的 决策 规则 都 是 不 一 致 的 。 
对 表 11.12, 我 们 采用 第 四 章 所 提 的 方法 进行 约 简 ,得 到 它 对 应 的 条 件 属性 的 约 简 为 {a, b] 
(a, cM (b, c}。 取 约 简 {4,5}， 对 应 的 表 为 : 
表 11.14 表 11.11 去 掉 条 件 属性 e 的 决策 表 
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对 表 11.13 BEATA 





























bgvb;— diej» 


aj>dz€z, 
arb de. 





对 表 11.12 不 进行 处 理 



































BRA Urt HUBS S 





a jbgc 20,5 d2€0> 


agb C 10,5 d j£»; 


abc; 0,5 doe 1» 


agb C 10.5 dej: 


最 后 , 将 所 有 的 对 应 
并 ， 就 得 到 了 对 应 于 原来 的 非 一 致 决策 表 的 决策 








Du 























JO 


属性 值 的 约 简 ， 得 到 其 对 应 的 决策 算法 ; 


子 的 决策 规则 : 


=A 








致 决策 表 的 决策 算法 与 对 应 于 


fy 

















lKa 











To 


11.5 ”粗糙 集 的 扩展 模型 


























FAS AS 粗糙 集 理 












































某 些 片面 性 与 不 足 之 处 。 




































































目前 ， 大 多 数 成 功 的 应 有 



























































ABW 

















论 和 其 他 处 理 不 精确 与 不 确定 性 的 方法 相 比 具有 独特 之 处 , 然而 仍然 存在 着 


策 表 的 决策 算法 








a> 

















目 ， 都 从 不 同 的 侧面 对 基本 粗糙 集 理论 进 
了 拓 广 。 基 本 粗糙 集 理论 是 假设 对 于 已 知 的 对 象 全 域 拥 有 必要 知识 的 前 提 之 下 的 ， 是 处 理 模 
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糊 性 和 不 确定 性 的 一 种 数学 工具 ， 本 质 上 可 认为 是 一 种 三 值 多 辑 〈 正 区 域 、 边 界 区 域 和 负 区 
域 )。 

基本 粗糙 集 理论 的 主要 存在 的 问题 是 : 

1) 对 原始 数据 本 身 的 模糊 性 缺乏 相应 的 处 理 能 

2) 对 于 粗糙 集 的 边界 区 域 的 刻画 过 于 简单 ; 

3) 粗糙 集 理 论 的 方法 在 可 用 信息 不 完全 的 情况 下 将 对 象 们 归 类 于 某 一 具体 的 
类 ， 通 常 分 类 是 确定 的 ， 但 并 未 提供 数理 统计 中 所 常用 的 在 一 个 给 定 错误 率 的 条 件 下 将 尽 可 
能 多 的 对 象 进行 分 类 的 方法 ， 而 实际 中 常常 遇 到 这 类 问题 。 
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di E PIE NH] 
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究 中 己 提 出 了 许多 扩展 模型 ， 例 如 可 变 精度 粗粮 集 模型 (Variable 


Precision 粗糙 Set 一 VPRS) 模 型 ， 一 些 基 于 粗糙 集 的 非 单调 逻辑 模型 ， 以 及 与 粗糙 集 理论 或 证 











据 理论 相 结合 
11.5. 

















满足 此 条 件 是 非常 


的 模型 等 。 下面， 着 习 
1 可 变 精度 粗糙 集 模型 

原始 粗糙 集 模型 假设 全 域 U 是 已 知 的 ,所 推出 的 结论 
任 的 。 为 解决 这 个 矛盾 ， 就 必须 寻求 一 种 方法 ， 能 够 从 少量 样本 中 得 














结论 ， 并 应 





则 应 被 看 作 不 确定 
模型 给 出 了 错误 率 低 于 预先 给 定 值 的 分 类 策略 ， 定 义 了 该 精度 下 的 正 
讨论 了 此 定义 下 的 有 关 性 质 。J.D.Katzberg 和 W.Ziarko 进一步 提出 了 不 对 称 边界 的 VPRS 








H, 











模型 





























Al x 






































] 到 更 大 的 范围 中 ， 而 且 此 结论 仪 在 样本 范围 
的 或 模糊 的 。 为 此 ，W.Ziarko 提出 了 一 种 称 之 为 可 变 精度 粗粮 集 模 
区 域 、 边 界 区 域 和 


+， 使 此 模型 更 加 一 般 化 ， 从 而 拓 广 了 VPRS 的 应 用 


Li AE 











一 般 地 ， 集 合 X 包含 于 YY FRR H 


定义 了 它 的 量度 : 
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C(X, YF -card(XAY)/card(X) 





LIAS 




















E 评 述 几 个 典型 的 拓 广 模型 。 


POEH F U 中 的 对 象 。 实际 应 











内 是 正确 





的 ， 在 扩 























jm 
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rn 
uy 














展 到 的 论 域 上 ， 





























范围 。 





P If 














A X 的 元 素 属 了 





C(X,Y)-0 “4 card(x)=0. 
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型 ， 该 


AK. 








扼要 介绍 VPRS 的 思想 。 


当 card(x)>0, 


FES Y 的 “多 少 ”。 为 此 ，VPRS 











CX, Y) 表 示 把 集合 X 归 类 于 集合 Y 的 误 分 类 度 , 即 有 CCK, Y)x100% 的 元 素 归 类 错误 。 显 


SR, CX, Y)=0 时 有 XcY。 如 此 ， 可 事 $ 














A Xc?v, “4AM CX, Y)<B- 








定义 集合 X 的 B- 下 近似 为 


或 





RgX=UXj 


RgX=UXi 

















给 定 一 错误 分 类 率 B(0<B<0.3)， 基 于 上 述 定 义 ， 我 们 








在 此 基础 上 ， 设 U NRH R 为 U 上 的 等 价 关 系 ，U/R=A={XI Xo, c0, Xe}, REE, nf 





(Xic?X, i=1, 2，…, K) 


(C(X;, X)«p, i=1, 2, °°, k), 


并 且 RpX 称 为 集合 X 的 B- 正 区 域 ， 集 合 X 的 B- 上 近似 为 





B- 负 区 域 为 





R?X-UX; 
这 样 ，B- 边 界 区 域 就 定义 为 





BNReX=UX; 


NEGReX=UX; 


(C(X;, X)«1-p, i=1, 2, +, k), 


(B<C(Xi, X)c1-p); 


(C(X;, X)21-p). 


以 此 类 推 ， 我 们 还 可 以 定义 B- 依 赖 、B- 约 简 等 与 传统 粗糙 集 模型 相对 应 的 概念 。 


可 以 看 出 ， 当 B=0 时 ，VPRS 模型 就 晓 化 为 传统 的 粗糙 集 模 型 ， 即 粗糙 集 为 VPRS 的 一 个 





特例 。 另 外 值得 一 提 的 是 ，VPRS 是 粗糙 集 的 直接 扩 
糙 集 的 所 有 优点 并 拓 广 了 粗糙 集 理论 的 应 ) 
11.5.2 ”相似 模 

在 数据 中 存在 缺失 的 
理 这 种 情形 。 为 扩展 粗糙 集 的 能 力 ， 有 许多 作者 提出 了 用 相似 关系 来 代替 不 分 明 关 系 作 为 粗 








糙 集 的 基础 。 





在 使 用 相似 关系 代替 粗糙 集 的 不 分 明 关 系 后 ， 最 重要 的 变化 就 是 相 
E 营 的 。 类 似 于 等 价 类 ， 可 以 定义 相似 集 ， 
在 属性 集合 B 上 相似 的 集合 SIME). 值得 注意 的 是 SIMb(x) 中 的 元 素 不 
因此 还 需要 定义 相似 决策 类 ， 即 相似 集 对 应 的 决策 类 集合 。 

由 于 相似 集 的 元 素 并 不 一 定 属于 同 
吸收 集 ， 如 果 对 于 每 个 xeU， 存 在 yeY 与 之 相似 ， 并 且 上 其 有 同样 的 决策 值 。 显 然 相对 吸收 由 
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它 完 全 继承 了 粗粮 集 的 性 质 ， 拥 有 粗 


FH 


T 









































Ji Fi]. 








E 





PEA C 









































自 粗 粮 集 理论 提 H 


的 划分 了 ， 它 们 之 间 是 相互 嫩 








在 数据 库 中 很 普 忆 )， 不 分 明 关 系 或 等 价 关系 无 法 处 




















以 类 不 再 形成 对 集 


a> 
































即 所 有 和 某 各 元 素 x 


























决策 类 ， 为 此 定义 相对 吸收 集 。 子 集 YSU 称 为 相对 








pim 



































j 来 进行 数据 约 简 。 利 
策 类 中 的 相似 集 的 并 ， 依 赖 度 和 约 简 的 概念 都 可 以 类 似 经 典 集合 的 方式 定义 。 

实践 证 明 ， 相 似 模型 在 实践 使 用 中 具有 比 经 典 粗糙 集 模型 更 好 的 性 能 。 在 解决 数据 库 
缺少 值 的 情况 时 ， 一 个 简单 的 相似 关系 可 








它 就 是 所 有 包含 在 决 








相似 集 可 


PME 


容易 地 定义 正 区 域 地 概念 ， 
































Hn 
a 

















以 定义 为 (其 中 ?代表 不 知道 或 不 关心 ): 








T(x, yyetx U,y U 


11.5.3 ”基于 粗糙 集 的 非 单调 逻辑 








上 以来， 粗糙 集 理论 的 





VaeC, a(x)-a(y) or a(x)=? or a(y)-?| 






































究 者 都 很 重视 它 的 逻辑 研究 ,试图 通过 粗糙 集 建 








立 粗 糙 罗 辑 ， 也 相应 地 发 表 了 一 系列 的 粗糙 逻辑 方面 的 论文 。 如 Z.Pawlak 于 1987 年 发 表 了 题 
H “MRE Logic” 的 论文 ， 他 在 这 篇 论文 
粗糙 假 和 粗糙 非 一 致 性 。 这 5 种 值 可 视 为 不 同 的 近似 程度 ， 但 它们 缺乏 确切 的 数学 描述 。 


Z.Pawlak 等 人 在 1995 4 
一 基于 粗糙 集 的 不 精确 





TYLin 和 Q.Liu 等 基于 拓扑 学 观念 定义 了 粗糙 下 近似 算 























Bt. iE 





中 给 出 了 其 逻辑 公式 的 语义 解释 : Kt. 














E$ 11 期 Communication of The ACMS 上 的 综述 中 认为 研究 粗粮 逻辑 一 


























EJH 








EE 




















可 能 是 最 重要 的 课题 。 





























f L 和 粗糙 上 近似 算 子 H， 这 两 
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个 算 子 的 语法 性 质 分 别 与 模 态 逻辑 的 必然 算 子 口 和 可 能 算 子 今 十 分 相似 ， 因 而 带 有 工 和 瑟 算 
子 的 好 辑 公 式 被 称 为 粗糙 逻辑 公式 ， 并 且 建 立 了 与 模 态 逻辑 相似 的 公理 化 粗糙 风 辑 演绎 系统 




















和 相 平 行 的 演绎 规则 ， 但 由 于 其 定义 的 一 阶 粗 烟 逻 辑 在 语义 上 ， 就 L MH 而 言 是 含糊 的 ， 无 
法 从 数学 上 给 出 解释 。 但 其 毕竟 指出 了 研究 “Approximation Proof” 的 方向 ， 亦 即 必须 给 出 L 
和 五 的 数学 意义 ， 这 样 才 能 使 得 由 工 和 五 构成 的 逻辑 公式 也 有 相应 的 数学 意义 。 进 而 ， 刘 清 
等 基于 粗糙 集 理论 定义 了 近似 度 入 :和 入 “, 它 和 基于 专业 领域 的 不 精确 数 和 经 验 数 一 起 组 成 粗 
糙 数 ， 并 讨论 了 粗糙 逻辑 的 性 质 和 和 ED, ] 在 逻辑 公式 解释 上 的 价值 。 另外 , 刘 清 于 1996 
年 底 在 日 本 召开 的 第 5 届 国 际 粗糙 集 研讨 会 上 提出 了 一 种 精度 算 子 粗糙 逻辑 (AORL)， 并 给 出 















































































































































其 归结 推理 的 过 程 。 















































A.Nakamura 等 提出 了 基于 不 完全 信息 系统 的 粗糙 模 态 逻辑 RI 和 R2。R1 的 主要 思想 是 基 
于 不 完全 信息 系统 的 某 种 等 价 关 系 ， 他 们 给 出 了 RI 的 一 些 特性 和 决策 过 程 及 一 个 公理 化 演绎 






































系统 ， 并 证 明了 其 完备 性 和 正确 性 。R2 主要 是 基于 间隔 集 代 数 结构 ， 对 于 R2 提出 了 与 Rl 不 


























同 的 不 完全 信息 系统 的 模 态 运算 的 定义 ， 并 给 出 了 此 风 辑 的 决策 过 程 ， 








系统 的 简化 。 
11.5.4 与 其 他 数学 工具 的 结合 











进而 ,研究 了 R2 公理 

















粗糙 集 与 Fuzzy 集 并 非 是 对 立 的 理论 ， 两 者 既 互 相 区 别 ， 又 互相 补充 。 从 根本 上 讲 ， 粗糙 
集体 现 了 集合 中 对 象 间 的 不 可 区 分 性 , 即 由 于 知识 的 粒度 而 导致 的 粗糙 性 ; 而 Fuzzy 集 则 对 集 
合 中 子 类 的 边界 的 不 清楚 定义 进行 模型 化 ， 它 体现 的 是 隶属 边界 的 模糊 性 。 它 们 处 理 的 是 两 
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不 同 的 模糊 和 不 确定 性 ， 两 者 的 有 机 结合 可 能 更 好 地 处 理 不 完全 知识 。D.Dudios 和 H.Prade 














由 此 提出 了 粗糙 Fuzzy Set 和 Fuzzy 粗糙 Set 的 概念 。 其 主要 思想 是 当 








等 价 关 系 使 模糊 集合 的 





论 域 变 得 粗糙 时 ， 定 义 此 模糊 集合 的 相应 上 近似 和 下 近似 ; 或 者 把 等 价 关 系 弱化 为 模糊 相似 
关系 ， 从 而 得 到 一 个 更 具 表达 力 的 粗糙 模型 。 并 通过 相似 关系 对 模糊 集合 的 上 近似 和 下 近似 
的 性 质 进行 了 详细 研究 ， 指 明了 在 不 分 明 性 和 模糊 谓词 同时 存在 的 情况 下 ，Fuzzy 粗糙 Set 




































































概念 在 逻辑 推理 方面 的 潜在 用 途 。 

















D.Dudios 和 H.Prade 同时 指出 ，Shafer 的 证 据 理论 ] 和 Z. Pawlak 的 粗糙 集 理论 是 不 同 术语 


























下 的 同一 个 模型 。A.Skowron 和 J.Grazymala-Buss 给 出 了 更 具体 的 结论 。 他 们 认为 ， 粗 糙 集 理 


























论 可 以 看 作证 据 理论 的 基础 。 并 在 粗糙 集 理论 的 框架 上 重新 解释 了 证 据 理论 的 基本 概念 ， 特 





















































别 是 用 上 近似 和 下 近似 的 术语 解释 了 信念 (belief) 和 似 然 (plausibility) 函 数 ， 进 而 讨论 了 两 者 之 





间 的 互补 问题 。 


11.6 粗糙 集 的 实验 系统 

















粗粮 集 理论 已 经 被 证 实在 实践 中 是 非常 有 用 的 , 从 大 量 的 现实 生 沪 




















中 应 用 的 记录 来 看 已 经 


F1 





























非常 明显 。 这 一 理论 对 于 AI 和 认 知 科学 尤为 重要 ， 在 决策 支持 、 专 家 系统 、 归 纳 推 理 、 开 关 





电路 等 方面 有 了 重要 的 应 用 。 












































近年 来 ， 粗 粮 集 理论 在 数据 库 中 知识 发 现 (KDD) 中 的 应 用 取得 了 较 大 的 进展 ， 基 于 粗糙 集 



































理论 的 方法 逐渐 成 为 KD 主流 方法 之 一 。 知 识 发 现 或 数据 库 的 数据 挖掘 是 AI 的 一 个 相对 新 的 
子 领 域 ， 它 涉及 到 从 不 断 增 长 的 企业 信息 数据 库 中 挖掘 出 额外 的 非 3 





FE 几 的 知识 。 在 这 个 内 容 


上 ， 主 要 任务 之 一 是 内 部 数据 之 间 的 关联 和 关系 。 但 是 ， 尺 管 粗糙 集 理论 对 模糊 和 不 完全 知 
识 的 处 理 比较 出 色 ， 但 其 对 原始 模糊 数据 的 处 理 能 力 较 弱 。 因 此 和 其 它 方法 如 模糊 数学 、 神 















































经 网 络 等 结合 将 会 取得 更 好 的 效果 。 





























id 











基于 粗粮 集 的 KDD 的 系统 一 般 都 由 数据 预 处 理 、 基 于 粗糙 集 或 

















er 























“ 展 理论 的 数据 约 简 、 决 


策 算 法 等 部 分 组 成 。 其 大 概 思想 时 先进 行 必要 的 数据 预 处 理 ， 为 数据 约 简 做 准备 ， 然 后 求 出 
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约 简 或 近似 约 简 ， 并 在 此 基础 上 根据 值 约 








用 于 新 对 象 的 分 类 。 


FEW ALARA 











PF， 建立 了 不 少 基于 粗粮 


E 


&ti 





简 等 减少 





A 
AS 











KDD-R. Rough Enough 等 。 


1. LERS 


LERS (Learning from examples based on Rough Set) 系统 是 美国 Kansas 大 学 ] 
的 实例 学 习 系 统 [Grzyrnala-busse 2000]。 它 是 
LERS 已 经 为 NASA 的 Johnson 空间 中 心 应 用 了 两 年 , 它 是 作为 一 种 开发 专家 系统 的 工具 被 引用 


A 
AS 








粗粮 





的 KDD 系统 ， 其 中 最 有 代 


E 和 个 体 数 目 ， 最 终 提 取 规 则 并 将 之 应 


E 




















的 ， 这 种 类 型 的 专家 系统 大 多 数 可 能 被 
日 于 环境 保护 、 和 气候 研究 和 医疗 研究 。 


泛 地 月 
2. ROSE 





波兰 Poznan 科技 大 学 
是 Rough Das & Rough Class 系统 的 新 版 ， 其 中 RoughDas 执 
这 两 个 系统 已 经 在 询 





析 。 


5 


%, RoughClass 支持 新 对 象 的 
ADL Windows/NT 上 的 交互 式 软件 系统 。ROSE 的 计算 模块 

















E PC dj 





6 























3E] 





分 类 ， 


。 数据 校 验 和 预 处 理 ; 


。 采用 Fayyad 和 Trani 离散 化 算法 对 连续 值 进 行 自 








。 用 标准 的 粗粮 身 





模型 或 可 变 精度 粗粮 集 模型 对 条 件 








p 





F 多 实际 领域 





























动 离散 化 处 理 ; 


VE 























。 用 Romanski 和 Skowron 等 人 的 算法 发 现 属性 核 及 信息 表 的 约 简 ; 


。 考察 属性 对 目标 分 类 的 相对 重要 性 ; 





E 


。 选择 最 重要 的 属 | 
。 JH LEM2 算法 或 EE 
。 获取 规则 的 后 处 

















EGET H bs 2728, Wi 
xplore 算法 获取 决策 规则 ; 


HE: 
































. FAY 


-HI KEXI UEI IE MTR FU SET 


























策 规则 对 新 目 





标 进 行 分 类 ; 

















Ff. 





(n 

















RTL AR PE; 





L5 





| Common Lisp fE VAX9000 | 


隆 的 有 LERS, ROSE, 





生发 的 基于 
上 实现 的 。 























于 空间 站 释放 的 板 上 医疗 决策 。 此 外 ，LERS 还 被 广 


F 粗 糙 集 开发 了 ROSE(ROugh Set data Explorer)， 用 于 决策 分 
行 信息 系统 数据 分 析 任 
Ph 得 到 应 用 。ROSE 是 运 
有 如 下 特征 ; 

















进行 定性 估计 ; 





























ROSE 的 信息 表 数 据 采 用 ISF (information system file) 文件 格式 ， 是 一 种 纯 文本 格式 。 
属性 分 为 条 件 属 性 和 决策 属性 。 
3. KDD—R 
KDD-R 是 由 加 拿 大 的 Regina 大 学 开发 的 基于 可 变 精度 粗糙 集 模 型 ， 采 用 知识 发 现 的 决策 
矩阵 方法 开发 了 KDD-R 系统 ， 这 个 系统 被 用 来 对 医学 数据 分 析 ， 以 此 产生 症状 与 病 证 之 间 新 
另外 它 还 文 持 电信 工业 的 市 场 研 究 。 该 系统 由 四 部 分 组 成 : 


的 联系 ， 
。 数据 预 处 理 ; 




















。 基于 VPRS 模型 的 属性 依赖 分 析 和 消除 匈 余 属性 ; 


。 规则 提取 ; 

。 RR. 

4. Rough Enough 
FEF ARERR, 3] 











ANS 








B Troll Data Inc. 公司 玫 








可 在 网 站 http://www. trolldata. no/renough 下 载 该 软件 。 











发 了 数据 挖掘 工具 Rough Enough. i 





Rough Enough 系统 根据 信息 系统 计算 得 到 可 辨识 矩阵 。 系 统 提 供 许多 工具 进行 集合 近似 ， 





诸如 等 价 类 、 决 策 类 、 下 近似 、 上 近似 、 边 界 域 、 粗 燃 成 员 值 、 泛 化 决策 规则 等 。 采 用 遗传 
算法 生成 约 简 结 
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11.7 粒度 计算 








粒度 计算 是 对 于 利用 粒度 〈 群 ， 类 ， 复 ) 概念 来 解决 问题 的 理论 ， 方 法 以 及 技术 的 统称 。 
个 粒子 通常 有 不 可 分 辨 的 ， 相 似 的 ， 接 近 的 或 者 功能 的 元 素 组 成 。 信 息 颗粒 化 的 内 涵 就 是 




















近似 。 




















设 K=(U,R) 为 近似 空间 ，R 为 U 的 一 个 区 分 。 则 知识 R 的 粒度 可 定义 为 : 
GK( R )«(1/Up)*( Ri +IR +......+ Re ). 11.10) 





PERE SEE IBA, EA Y PTAA EI Be 
略 地 说 ， 粒 度 计算 是 模糊 粒度 理论 的 超 集 ， 而 粗糙 集 理 
一 个 问题 包括 不 完备 ， 不 确定 以 及 模糊 信息 时 ， 清 楚 的 


























须 使 用 粒度 。 











粒度 计算 的 概念 首 9 























方法 论 、 技 术 和 工具 的 研究 。 粗 
区 间 计 算是 粒度 数学 的 子 集 。 当 
元 素 是 非常 困难 的 ， 此 时 我 们 必 



















































































CH Zadeh 教授 在 ”Fuzzy sets and information granularity”(in: Advances in 





Fuzzy Set Theory and Applications) 一 文中 提出 [Zadeh 1979]. Pawlak 等 把 粒度 计算 与 粗糙 集 理 论 




















联系 起 来 进行 研究 [Peter 2002]. Yao 提出 用 决策 逻辑 语言 (DL- 语 言 ) 来 描述 集合 的 粒度 (用 





























满足 公式 元素 的 集合 来 定义 等 价 类 mh), 建立 概念 之 间 的 IF-THEN 关系 与 粒度 集合 之 间 的 
包含 关系 的 联系 ， 并 提出 利用 由 所 有 划分 构成 的 格 来 求解 一 致 分 类 问题 ， 提 出 利用 多 层 粒 度 










































































化 来 研究 分 层 粗糙 集 近 似 [Yao 2001]。Lin and Yao 利用 邻居 系统 研究 粒度 计算 。 
张 铃 和 张 钱 认 为 概念 可 以 用 子 集 来 表示 , 不 同 粒度 的 概念 就 体现 为 不 同 粒度 的 子 集 ， 一 复 概 





念 就 构成 空间 的 一 个 划分 
算 ， 就 是 研究 在 给 定 矢 





表示 ， 即 (X, F, T), 



































在 不 同 粒度 商 


























商 空 间 ( 知 识 基 ), 不 同 的 概念 艇 就 构成 不 同 的 商 空间 。 故 粒度 计 











I 识 基 上 的 各 种 子 集 合 之 间 的 关系 和 转换 .。 商 空间 的 模型 用 一 个 三 元 组 来 











Hop x 是 论 域 , F EBER, T Æ X 上 的 拓扑 结构 . 当 我 们 取 粗 粒度 时 , 即 给 定 
一 个 等 价 关 系 R (或 说 一 个 划分 )， 于 是 我 们 说 得 到 一 个 对 应 于 R 的 商 集 记 为 [X], 它 对 应 于 的 
三 元 组 为 ([X],[F],[T]), 称 之 为 对 应 于 R 的 商 空间 。 商 空间 理论 就 是 研究 各 商 空间 之 间 的 关系 、 
各 商 空间 的 合成 、 综 合 、 分 解 和 在 商 空间 中 的 推理 [ 张 铃 2003]。 













































































1962 年 ，Zeeman 指出 认 知 活动 可 以 被 看 作 是 某 种 函数 空间 中 的 相 容 空间 。 这 种 相 容 空间 
是 通过 基于 距离 函数 的 相 容 关系 构建 的 ， 它 被 Zeeman 用 于 动态 系统 的 稳定 性 分 析 中 。 我 们 将 
基于 距离 关系 的 相 容 空间 用 于 信息 粒度 化 的 分 析 。 



















































































述 一 个 问题 的 目的 就 是 使 得 计算 机 能 够 解决 不 同 粒度 层次 上 的 问题 。 我 

















们 可 以 用 一 个 相 容 粒度 空间 来 描述 一 个 问题 [Zheng 2005]。 一 个 相 容 粒度 空间 TG 可 以 形式 化 
为 一 个 三 元 组 (0S, TR, NTC), JEP OS 表示 对 象 集 系 统 ， 由 在 相 容 粒 度 空间 中 处 理 和 粒度 化 
的 对 象 组 成 ， 它 也 可 以 看 成 是 一 个 对 象 域 ,，R 表示 一 个 相 容 关系 系统 ， 是 一 个 (参数 化 的 ) 
关系 结构 ， 它 由 一 组 相 容 关系 组 成 。 它 包括 一 个 粒度 空间 所 基于 的 关系 和 系数 ;NTC 表示 一 






















































































个 帆 套 相 容 履 盖 系统 ， 是 一 个 (参数 化 的 ) 粒度 结构 ， 其 中 定义 了 不 同 层次 的 粒 和 基于 对 象 
系统 和 相 容 关系 系统 的 粒度 化 过 程 。 它 定义 了 一 个 撕 套 的 粒度 结构 来 表示 : 

(1) 粒 之 间 ， 对 象 之 间 以 及 粒 和 对 象 之 间 的 关系 ; 

(2) 粒 的 组 合 和 分 解 。 














11.7 粗糙 集 的 展望 

















粗糙 集 理论 已 


n 2 i 




















FE 明了 它 在 许多 实际 生活 中 是 完备 和 十 分 有 用 的 。 粗 糙 集 理论 提供 了 在 




















许多 分 校 上 可 应 用 的 有 效 方 法 。 基 于 粗糙 集 理论 的 粗糙 逻辑 的 研究 似乎 是 值得 重视 的 课题 ， 
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因为 这 种 逻辑 将 使 单调 逻辑 非 单调 化 














， 从 而 在 AI 的 近似 或 不 精确 











E 理 中 将 发 挥 不 可 估量 的 作 


























用 ， 可 见 基于 粗粮 集 方法 的 不 精确 推理 的 粗糙 逻辑 的 研究 将 是 十 分 有 前 途 的 。 
粗粮 集 理 论 的 男 一 项 重要 课题 则 是 粗糙 函数 的 理论 和 实践 的 研究 。 粗 燃 函 数 的 各 种 近似 
运算 ， 粗 糙 函 数 的 基本 性 质 ， 关 于 它 的 粗糙 连续 ， 粗 糙 可 导 ， 粗 糙 积 分 和 粗糙 稳定 性 ， 粗 糙 





















































函数 控制 及 建立 由 粗糙 实 函 数控 制 的 离散 动态 系统 等 都 是 典型 的 问题 ， 这 些 问 题 都 要 求 在 粗 
燃 函 数理 论 的 模型 下 ， 给 予 公式 化 。 这 些 问题 的 研究 将 有 页 献 于 定性 推理 方法 的 研究 。 这 些 














研究 实质 上 是 使 连续 数学 离散 化 。 如 此 ， 
基于 粗糙 集 理论 的 控制 也 似乎 是 一 个 
和 遗传 算法 的 开发 也 很 重要 。 如 何 将 粗糙 集 理论 、 模 糊 集 理论 、 






































的 理论 用 一 个 统 
比较 引 人 注 目 : 


















































连续 数学 也 能 被 现代 计算 机 所 接受 。 





的 逻辑 模型 来 解释 也 很 值得 研究 。 目 前 ， 粗 糙 集 理论 的 下 


FE 常 有 前 途 的 应 用 领域 ， 而 粗粮 集 理 论 对 神经 网 络 





























证 据 理论 和 概率 论 等 不 确定 
究 还 有 几 个 领域 





















































(1]) 在 继承 原始 粗糙 集 模型 的 基本 数学 性 质 前 提 之 下 ,研究 如 何 扩展 模型 ， 以 更 好 地 用 于 数据 





压缩 与 信息 系统 分 析 等 。 














(2) 在 分 布 式 粗糙 集 环 境 下 ， 不 完全 的 或 不 确定 的 知识 表示 和 多 agent 之 间 知 识 转换 问题 。 
(3) 在 特定 代数 结构 上 ， 如 何 引 入 上 近似 与 下 近似 的 概念 ， 并 研究 其 数学 性 质 ， 例 如 研究 概 





念 格 结构 上 的 粗糙 集运 算 的 定义 以 及 相互 关系 等 。 
(4) 粗 糙 集 理论 与 形式 语言 之 间 关 系 的 研究 等 。 
从 数据 库 知识 发 现 角 度 再 列举 一 些 可 


高 效 约 简 算法 ”高效 的 约 简 算法 是 六 
有 效 方法 。 


现 比 其 他 方法 出 1 





为 
































能 的 研究 方向 及 应 
昌 粮 集 应 用 于 知识 发 现 的 基础 ， 现 尚 不 存在 一 种 非常 
因此 ， 寻 求 快 速 的 约 简 算法 及 其 增 量 版 本 仍然 是 主要 研究 方向 之 一 。 


























| 领域 。 

















大 数据 集 问题 ”现实 中 的 数据 库 已 经 越 来 越 大 。 粗 糙 集 理论 如 何 应 付 这 一 挑战 仍旧 是 一 
个 问题 。 虽 然 现在 已 经 有 一 些 有 益 的 探索 ， 但 是 还 没有 找到 一 种 令 人 满意 的 方法 。 可 能 的 解 








案 有 采样 、 并 行 化 等 ， 更 需要 发 展 相 应 的 算法 。 
多 方法 融合 ”现在 有 许多 中 数据 挖掘 方法 。 实 验 表 明 ， 还 没有 
色 。 因 此 多 种 方法 的 融合 可 能 是 
读者 可 以 在 http://www. cs. uregina. ca/ roughset 





















































种 再 所 有 的 测试 集 上 表 




















进一步 提高 分 类 效率 的 方法 之 一 。 


的 Electronic Bulletin of the 








Rough Set Community 中 看 到 粗糙 集 研究 


SO e eS ES 

















简 述 粗粮 集 的 理论 基础 是 什么 。 





























的 进展 。 


vl 


题 


什么 是 决策 表 和 决策 逻辑 ， 简 述 决 策 逻 辑 语 言 的 基本 表达 。 





解释 知识 的 约 简 和 知识 的 依赖 性 。 





为 什么 粗糙 集 可 以 进行 属性 约 简 ， 举 例 说 明 非 一 致 











最 小 属性 集 的 含义 是 什么 。 

















策 表 的 约 简 方 法 。 





简 述 基本 粗糙 集 理 论 存在 的 主要 问题 ， 以 及 粗糙 集 理 论 研究 中 提出 的 几 种 典型 扩展 模型 。 











何谓 粒度 计算 ? 试 比较 三 种 粒度 计算 模型 的 特点 。 
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BTE ”关联 规则 


12.1 关联 规则 挖掘 概述 


关联 规则 挖掘 的 目的 是 找 出 数据 库 中 不 同 数据 项 集 之 间 隐 藏 的 关联 关系 , 它 是 近 几 年 顾 
究 较 多 的 数据 挖掘 方法 ， 也 是 应 用 最 为 广泛 的 数据 挖掘 方法 之 一 。 在 数据 挖掘 的 知识 模式 中 
和。 关联 规则 的 概念 由 Agrawal、Imielinski、Swami 在 1993 年 
的 规则 。 关 联 规则 模式 属于 描述 型 模式 ， 发 








关联 规则 模式 是 比较 重要 的 






























































一 利 
是 出 [Agrawal 1993]， 是 数据 中 一 种 简单 但 很 实 
现 关 联 规则 的 算法 属于 无 监督 学 习 的 方法 。 
































到 多 概念 层次 的 关联 规则 的 








包 、 牛 奶 等 进行 规则 挖掘 ， 

















的 概念 也 考虑 进去 ， 如 比 面 








目前 ， 关 联 规则 的 研究 具有 以 下 的 发 展 趋势 : 一 是 从 单 


同 的 层面 上 。 例 如 : 在 分 析 




















~ 


















































发 现 。 也 就 是 说 很 多 具体 应 用 中 ， 











超市 销售 事务 数据 库 过 程 中 ， 若 单 从 数据 库 中 的 原始 字段 ， 如 面 











可 能 难以 发 现 令 人 感 兴趣 的 规则 。 
包 和 牛奶 更 抽象 的 概念 : 食品 ， 贝 




















则 。 记 以 研究 在 数据 库 中 不 同 的 抽象 层次 上 发 现 规则 和 元 规则 是 数据 挖掘 的 新 的 研究 内 容 。 



































二 是 提高 算法 效率 。 显 





然 在 挖掘 规则 过 程 中 ， 需 要 处 理 大 量 的 数据 库 记 录 ， 并 且 可 能 对 





概念 层次 关联 规则 的 发 现 发 展 
挖掘 规则 可 以 作用 到 数据 库 不 























这 时 如 果 我 们 把 一 些 抽 象 层 次 
J 有 可 能 发 现 新 的 更 为 抽象 的 规 


























数据 库 进 行 多 次 扫描 。 所以， 如何 提 高 算法 的 效率 是 非常 重要 的 。 共 有 三 种 提高 效率 的 思路 : 
一 种 技术 是 减少 数据 库 扫 描 次 数 ， 这 种 技术 对 效率 会 有 巨大 的 











对 待 挖掘 的 数据 集合 进行 选择 ， 这 在 一 些 效率 更 为 
并 行 数据 挖掘 。 这 是 因为 大 规模 的 数据 库 经 常 分 布 在 若干 网 络 节点 上 ， 并 行 挖掘 技术 显然 能 












































E 要 的 应 用 中 是 非常 有 效 的 。 最 后 是 采用 





提高 。 另 一 种 是 利用 采样 技术 ， 



























































提高 效率 。 这 对 于 在 Internet 网 上 的 海量 数据 挖掘 研究 具有 重要 的 意义 。 
则 总 规模 的 控制 ， 如 何 选择 和 进一步 处 理 押 获得 的 关联 规则 ， 模 


此 外 ， 对 获取 的 关联 规 
糊 关 联 规则 的 获取 和 发 现 ; 





从 挖掘 的 对 象 上 看 , 由 仅 在 关系 数据 库 中 进行 挖掘 






































高 效率 的 关联 规则 挖掘 算法 等 也 是 关联 规则 要 研究 的 关键 性 课题 。 





现 等 课题 也 是 未 来 关联 规则 挖掘 要 深入 研究 和 解决 的 问题 。 


12.1.1 关联 规则 的 意义 和 度量 


关联 规则 发 现 的 主要 对 象 是 事务 数据 库 ， 其 中 针对 的 应 | 
(basket data)。 如 在 超级 市 场 的 前 端 收 球 机 中 就 收集 存储 了 大 




















务 由 如 下 几 个 部 分 组 成 : 事 
客 的 标识 号 〈 如 信用 卡号 )。 
据 。 

在 事务 数据 库 中 ， 让 我 





























物品 甲 ， 事 务 2 中 出 现 了 物品 乙 ， 事 务 3 中 则 同时 了 





























扩充 到 在 文本 和 WEB 数据 中 进行 关联 的 发 


























j 是 售 货 数据 ， 也 称 为 货 蓝 数据 














量 的 数据 。 一 般 情 况 下 ， 一 个 事 


务 处 理 时 间 ， 一 组 顾客 购买 的 物品 ， 物 品 的 数量 及 金额 ， 以 及 顾 

















现实 中 ， 这 样 的 例子 很 多 。 利 用 











a 








Wi i SCARCE AE T KER 











们 考察 一 些 涉及 到 许多 物品 的 事务 (transaction): 事务 1 中 出 现 了 























事务 中 的 出 现 相 互 之 间 是 否 
在 一 个 事务 中 物品 之 间 同 时 








描述 物品 甲 的 出 现 对 物品 乙 的 出 现 有 多 大 的 影响 。 
这 些 数据 中 常常 隐 含 着 如 下 形式 的 关联 规则 : 在 购买 面包 
































购买 了 黄油 。 这 些 关 联 规则 
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8 现 了 物品 甲 和 乙 。 那 么 ， 物 品 甲 和 乙 在 
有 规律 可 循 呢 ? 在 数据 库 的 知识 发 现 中 ， 关 联 规 则 就 是 描述 这 种 
出 现 的 规律 的 知识 模式 。 更 确切 的 说 ， 关 联 规则 通过 量化 的 数字 

































































的 顾客 当中 ， 有 “70% 的 人 同时 
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人 员 可 以 根据 这 些 关 联 规则 更 


好 地 规划 商场 ， 如 把 面包 和 黄 ; 
了 些 数据 不 像 
然 可 以 像 对 售 货 数据 一 样 处 理 。 比 如 人 寿 保险 ， 一 份 保单 就 
险 前 ， 往 往 需要 记录 投保 人 详尽 的 信息 ， 有 时 还 要 到 
的 年 龄 、 性 别 、 健 康 状况 、 工 作 单 位 、 工 作 地 址 、 工 资 水 平等 。 


JE 


有 


a 


















































众人 化 


Er DL 





数据 那样 很 容易 就 能 看 出 一 个 事务 是 i 




















AE 


| 这 样 的 商品 摆 放 在 一 起 ， 能 够 促进 销售 。 
年 多 物品 的 集合 ， 但 其 本 质 上 仍 
是 一 个 事务 。 保 险 公司 在 接受 保 






































医院 做 身体 检查 。 保 单 上 记录 有 投保 人 
这 些 投保 人 的 个 人 信息 就 可 











以 看 作 事务 中 的 物品 。 通 过 分 析 这 些 数据 ， 可 以 得 到 类 似 以 下 这 样 的 关联 规则 :年龄 在 40 2 


以 上 , 工作 在 A 区 的 投保 人 当中 

















在 40 岁 以 上 ”是 物品 
区 可 能 污染 比较 严重 ， 环 境 比 较 差 ， 导 致 工作 在 该 


看 出 来 ，A 





相对 比较 高 


设 R-(Iub 


o 






































有 45% 的 人 曾经 向 保险 公司 索赔 
1, “工作 在 A 区 ”是 物品 乙 ,“ 向 保险 公司 索赔 过 ” 则 是 物品 两 。 可 以 
区 的 人 健康 状况 不 好 ， 索 赔 率 也 





过 。 在 这 条 规则 中 ,“ 年 龄 











15) 46 —2H4J 5858, W 是 一 组 事务 集 。W 中 的 每 个 事务 T 是 一 组 物品 , TCR. 





假设 有 一 个 物品 集 A， 一 个 事务 T， 如 果 AcT， 则 称 事务 T 支持 物品 集 A。 关 联 规则 是 如 下 
形式 的 一 种 列 含 : A 一 B， 其 中 A、B 是 两 组 物品 ，AcI，BcI， 且 A 站 B= 名。 一般 可 以 采用 四 














个 参数 来 
(可 














问题 : 如 果 


述 一 个 关联 规则 的 属性 : 
Hs (Confidence) 

we W 中 文 持 物品 集 A 的 
>B 的 可 信和 度 。 简 单 地 说 ， 可 
现 的 概率 有 多 大 。 如 上 面 所 举 的 面包 和 黄油 的 例子 ， 
一 个 顾客 购买 了 








事务 中 , 有 c% 
言 度 就 是 指 在 出 现 了 物 



































ma, ABZ f te SE Be N 




















买 面包 的 顾客 中 有 7096 I AWS T li, 所 以 可 信 度 是 70%。 


(2) FFE (Support) 
WW 中 有 s% 的 事务 
述 了 A 和 B 这 两 个 物品 集 的 并 集 c 在 
个 顾客 到 商场 购买 物品 ， 




















支持 度 就 是 








集 


zi 


同时 支持 物品 




















的 事务 同时 也 支持 物品 集 B，c% 称 为 关联 规则 A 
品 集 A WARS TH, y 
该 关联 规则 的 可 信 度 就 回答 了 这 样 一 个 
的 可 能 性 有 多 大 了 呢 ? 在 上 述 例子 中 ， 购 





品 集 B 也 同时 出 











A 和 B，s% 称 为 关联 规则 A 一 B 的 支持 度 。 文 持 度 
所 有 的 事务 中 出 现 的 概率 有 多 大 。 如 果 某 天 




















LAF 1000 














其 中 有 100 个 顾客 同时 购买 了 面包 和 黄 ; 




















|， 那么 上 述 的 关联 规则 的 











10% (100/1000). 


(3) 期 望 可 信和 度 (Expected confidence) 


设 W 中 有 e% 的 事务 支持 物品 





个 顾客 到 商场 购买 物品 ， 其 中 





是 20%。 


4 
AS 












































(4) fE) 





作用 度 是 可 信 度 与 期 望 可 信 度 的 比值 。 作 用 度 描述 物品 
。 因 为 物品 集 B 在 所 有 事务 
现 的 事务 中 出 现 的 概率 是 可 信 度 , 通过 可 信和 度 对 期 望 可 信 度 的 
现 ” 的 这 个 


多 大 的 影响 
A 出 
A 出 
/20% 





=3.5。 

















ri 
H 





] P(A) 表 示 
RBAK, mE ET SE 
nf fei BE dox OA 


| RE (Lift) 
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AN 





B，e% 称 为 关联 规则 A 一 B 的 
描述 了 在 没有 任何 条 件 影 响 时 , 物品 集 B 在 所 有 事务 中 出 现 的 概率 有 多 大 。 如 果 某 天 
PA 200 个 顾客 购买 了 黄油 ， 则 上 述 的 关联 规则 的 期 望 可 信 度 就 











期 望 可 信和 度 
LAF 1000 


期 望 可 信和 度 。 
































A 的 出 现 对 物品 集 B 的 出 现 有 
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AE 











中 出 现 的 概率 
































条 件 后 ， 物 品 集 B 的 出 现 概 率 发 生 了 多 大 的 变化 。 

















0 Æ 
品 集 
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事务 中 出 现 物 

















公式 表示 ， 如 表 12.1 所 示 。 





H 














期 望 可 信和 度 ; 


A 的 概率 ，P(B|A) 表 示 在 出 现 物 


而 物品 集 B 在 有 物品 集 
比值 反映 了 在 加 入 “物品 集 
在 上 例 中 作用 度 就 是 70% 











r1 
HH 





~ 





集 A 的 事务 中 ， 出 现 物 














上 的 准确 度 的 衡量 ， 文 持 度 是 对 关联 规则 习 











EIL 范围 ) 的 稀 


(或 适 
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3i, AHR 12. AEH 


机 会 很 小 ， 


























HI 








因此 也 不 重要 。 
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上 可 信 度 虽然 很 高 ， 但 支持 度 却 很 低 ， 说 明 该 关联 规则 实 ) 




















的 
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表 12. 1 四 个 参数 的 计算 公式 









































名 称 描述 公式 
可 信 度 (Confidence) | 在 物品 集 A 出 现 的 前 提 下 , B 出 现 的 概率 P(B|A) 
支持 度 (Support) 物品 集 A、B 同时 出 现 的 概率 P(AMB) 
e 物品 集 B 出 现 的 概率 PB) 
(Expected Confidence) 
作用 度 (Lif) 可 信和 度 对 期 望 可 信和 度 的 比值 P(B|A)/P(B) 





















































WE np fet ETRAS T ERA ine A 的 作用 下 , 物品 集 B 本 身 的 文 持 度 ; 作用 度 描 述 了 物 
mae A 对 物品 集 B 的 影响 力 的 大 小 。 作 用 度 越 大 ， 说 明 物 品 集 B 受 物品 集 A 的 影响 越 大 。 
一 般 情况 ， 有 用 的 关联 规则 的 作用 度 都 应 该 大 于 1， 上 只 有 关联 规则 的 可 信和 度 大 于 期 望 可 信 度 ， 
才 说 明 A 的 出 现 对 B 的 出 现 有 促进 作用 ,也 说 明了 它们 之 间 某 种 程度 的 相关 性 ， 如果 作 用 度 
不 大 于 1， 则 此 关联 规则 也 就 没有 意义 了 。 

应 该 指出 : 在 这 四 种 度量 中 ， 最 常用 的 是 可 信和 度 和 支持 度 。 


12.1.2 经 典 的 挖掘 算法 


关联 规则 的 挖掘 问题 就 是 在 事务 数据 库 D 中 找 出 具有 用 户 给 定 的 最 小 文 持 度 minsup 和 最 
小 可 信 度 minconf 的 关联 规则 。 

挖掘 关联 规则 问题 可 以 分 解 为 以 下 两 个 子 问题 : 

中 找 出 存在 于 事务 数据 库 中 的 所 有 大 物品 集 〈 常 用 物品 集 、 或 频繁 集 )。 物 品 集 X 的 支持 
RE support(X) 不 小 于 用 户 给 定 的 最 小 支持 度 minsup， 则 称 X 为 大 物品 集 (largeitemseb)。 

利用 大 项 集 生成 关联 规划。 对 于 每 个 大 项 集 A, d$? BCA, Bọ, H. Confidence( B= (A-B)) 
>minconf， 则 构成 关联 规则 B= (A-B). 

第 书 个 子 问题 比较 容易 。 目 前 大 多 数 研究 集中 在 第 一 个 子 问题 上 。 以 下 我 们 对 算法 的 介 
绍 也 集中 在 第 一 个 子 问题 上 。 

下 面 我 们 先 介 绍 几 个 经 典 的 关联 规则 挖掘 算法 ， 即 Apriori 算法 [Agrawal 93]、 抽 样 算法 、 
DIC 算法 。 著 名 的 Apriori 算法 主要 工作 在 于 寻找 大 物品 集 ， 它 利用 了 大 物品 集 向 下 封闭 性 ， 
即 大 物品 集 的 子 集 必须 是 大 物品 集 ， 它 是 宽度 优先 算法 。 先 计算 所 有 的 1- 项 集 -HRES 
k 个 项 的 项 集 )， 记 为 C1。 找 出 所 有 的 常用 1- 项 集 ， 记 为 L1。 然 后 根据 常用 1- 项 集 确定 候选 
2- 项 集 的 集合 ， 记 为 C2。 从 Cs 找 出 所 有 的 常用 2- 项 集 ， 记 为 Lz。 然 后 根据 常用 2- 项 集 确定 候 
Xt 3- 项 集 的 集合 ， 记 为 C3。 从 CS 找 出 所 有 的 常用 3- 项 集 ， 记 为 L3。 如 此 下 去 直到 不 再 有 候 


Mj 


选项 集 。 







































































































































































































































































































































































































































































































































































算法 12.1 Apriori 算法 : 
Input: DB, minsup. 
Output: Result= 所 有 的 频繁 项 集 ， 和 它们 的 支持 度 。 
方法 : 
Result:={ }; 
k: =1; 
Cy: = 所 有 的 1- 项 集 
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while(Ci)do 
begin 
为 每 一 个 Ck 中 的 项 集 生成 一 个 计数 器 ; 
for(i=1;i<|DB|;i++) 
begin /所 有 DB 中 的 记录 T 











对 第 i 个 记录 工 支持 的 每 一 个 CH 


end 
Le=Ck 中 满足 大 于 minsup 的 全 体 项 集 ; 
Ly 的 支持 度 保留 ; 
Result:=Result U Lx; 














Cy =A AY (kt 1)- PIEH k- FER AME L 





k=k+1; 
enddo 























的 项 集 ， 其 计数 器 加 一 ; 


的 全 体 ; 




















Apriori 算法 扫描 DB Zii, $ k WaT SE k- 项 集 。 如 果 顶 层 项 自 


us 























则 该 算法 扫描 DB 至 少 K 人 遍 ， 也 可 能 K+1 Wio X Apriori 算法 的 改进 主要 利 
























































元 素 个 数 最 多 的 为 K, 
] hash[DHP] 的 方 


法 ， 它 通过 减 小 候选 项 集 的 个 数 、 减 小 记录 长 度 、 减 少 记录 总 数 的 方法 ， 实 现 减 少 验证 记录 T 
































SEF Ct 的 计算 。 抽 样 算法 需要 负 边 界 的 概念 。 它 也 利用 了 频繁 项 集 向 下 



































封闭 性 。 给 定 一 个 向 


下 封闭 的 项 集 的 集合 SI 的 突 集 合 ， 如 果 一 个 项 集 的 所 有 子 集 包含 于 S， 而 它 自身 不 在 S 中 ， 
则 它 是 负 边 界 的 一 个 元 素 。 所 有 这 样 的 元 素 构成 负 边 界 。 记 为 Bd(S)。 例 如 I={A,B,C,D,E}, 








S={{A},{B},{C},{E}, {A,B},{A,C},{A,E},{C,E},{A,C,E}}, 则 Bd(S)={{B,C},{B,E},{D}}。 如 果 





Bd(S) 中 都 是 非 频繁 项 集 ， 则 S 是 频繁 项 集 的 超 集 。 









































对 于 数据 库 D, WK 12.1 所 示 ， 在 第 一 吉 扫 描 数 据 库 过 程 中 ， 通 过 简单 地 扫描 整个 事务 
集中 每 个 数据 项 发 生 的 次 数 ， 得 到 候选 数据 项 集 C1!， 假 设 给 定 的 最 小 支持 度 为 2， 则 可 得 到 





AW 
































法 用 运算 LL 产生 数据 项 集 Lz， 这 里 ， 运 算 * 定义 为 
Li*L;-(XU Y|X, Y EL, XNY|Fk-1} 
最 小 支持 度 得 到 Lo. A Lo EER C3 时 ， 首 先 两 个 具有 相同 首 














此 得 到 候选 集 Co, F 
















































































数据 项 集 Li。 为 了 生成 Lz， 注 意 到 大 数据 项 集 的 任何 子 集 也 














有 最 小 支持 度 ，Apriori 算 





项 的 数据 项 ，{BC} 和 {BE} 可 以 确定 下 来 。 再 考察 {BC} 和 {BE} 的 尾 项 生成 的 数据 项 集 {C E} 是 























为 候选 数据 项 。 同 时 ， 从 Ls 也 得 不 到 其 它 三 维 候选 数据 项 。 这 样 Cs BUS 
到 此 为 止 ， 我 们 也 得 不 到 更 高 维 的 数据 项 集 了 。 所 以 ， 整 个 大 数据 项 集 前 





























抽样 算法 的 主要 思想 是 取 一 个 比 minsup Xe I FEE lowsup, 764 
算法 求 出 Support(db(X))>lowsup 的 项 集 的 集合 ， 记 为 S， 假 设 S 是 常 月 
负 边 界 Bd(S)， 扫描 DB， 计 算 S 和 Bd(S) 的 支持 度 ， 如 果 Bd(S) 中 都 是 
常用 物品 集 的 超 集 。 否 则 报告 失败 ， 加 Bd(S) 中 的 常 月 















































村 扫描 DB， 再 验证 ， 直 到 S 不 能 增加 而 结束 。 
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和 否 满足 最 小 支持 度 ， 结 果 是 成 立 的 。 这 样 ，{BCE} 的 所 有 



































子 集 都 是 大 数据 项 ， 所 以 {BCE} 
































BIS, p 









































DET, HEKE L;。 
UI. 




















数据 db 上 用 Apriori 
物品 集 的 超 集 。 求 出 
物品 集 ， 则 S 是 
了 求 出 负 边 界 Bd(S)， 
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图 3.1 候选 集 和 数据 项 集 的 生成 





Database D 





Items Itemset 
“ACD Sean 
BCE D 
ABCE 3 


BE 


Itemaet 


Tremaet 





C 








Htemset 





|temset 





L; 
Scan 
ltemset e Itemaet Ttemaet Sup. 
(BCE) x (BC E) (BC E! 2 


DIC 算法 是 将 DB 分 为 M 块 ， 在 第 一 块 执行 Apriori 算法 的 第 一 遍 ， 在 第 二 块 执行 Apriori 





算法 的 第 一 壳 和 第 二 这, 在 第 三 块 执行 Apriori 算法 的 第 一 、 第 二 和 第 三 过， 如 此 下 去 直到 DB 





的 结尾 。 回 绕 DB, 在 第 一 块 执行 Apriori 算法 的 第 二 遍 以 后 的 计算 ， 在 第 二 块 执 行 Apriori 算法 








的 第 三 遍 以 后 的 计算 ， 如 此 下 去 直到 全 部 常用 物品 集 被 确定 。 另 外 在 计算 第 一 块 之 后 有 一 个 























12.2 广义 模糊 关联 规则 的 挖掘 


对 于 挖 据 数 量 




















常用 物品 集 和 候选 项 集 动态 调整 的 维护 过 程 。DIC 算法 还 有 一 个 随机 抽样 的 版 本 。 


























属性 的 关联 规则 ， 和 常用 的 方法 是 将 连续 数据 离散 化 ， 从 而 把 数量 属性 的 关 
联 规 则 的 问题 转换 成 布尔 型 关联 规则 的 问题 进行 讨论 。 一 种 方法 是 将 属性 的 论 域 划分 成 不 重 








登 的 区 间 ， 再 将 数据 库 中 的 离散 数据 映射 到 这 些 区 间 中 ， 由 于 明显 的 区 间 划 分 会 将 某 些 区 间 


附近 的 一 些 潜在 元 素 排斥 在 外 ， 从 而 时 致 一 些 有 意义 的 
区 间 ， 这 时 处 于 边界 附近 的 元 素 就 有 可 能 同时 处 于 两 个 





属性 的 论 域 划 分 成 重 营 的 





























区 间 可 能 被 忽略 掉 。 另 一 种 方法 是 将 
区 间 ， 由 于 


这 些 元 素 同 时 对 两 个 区 间 都 作 贡 献 ， 就 有 可 能 造成 过 分 强调 这 些 元 素 的 作用 ， 从 而 导致 菜 些 
区 间 的 意义 也 被 过 分 地 强调 了 。 上 述 两 种 方法 的 缺点 主要 是 由 于 边界 划分 过 便 。 为 了 解决 这 


个 问题 ， 陆 建 江 等 所 














模糊 集 可 EU 
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j 近 的 元 素 不 会 再 被 排斥 在 外 ， 同 时 也 不 会 被 过 分 地 强调 。 
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属性 论 域 上 模糊 旨 


8 可 以 采用 定义 在 属性 论 域 上 的 模糊 集 来 软化 边界 [ 陆 建 江 00]。 这 是 因为 
E 集 合 元 素 和 非 集合 元 素 之 间 提 供 非常 平滑 的 变迁 。 有 了 平 请 的 变迁 ， 几 乎 所 有 








EUR ITI 





























隶属 度 取 为 语言 值 ， 语 言 值 将 采用 R 上 的 有 界 闭 的 正 模糊 数 和 零 模糊 数 来 表示 。 这 样 ， 控 掘 
数量 属性 关联 规则 就 转换 成 挖掘 广义 模糊 关联 规则 的 问题 。 按 照 [ 马 洪 文 00]， 可 以 给 出 下 述 
定义 : 

定义 12.1 KR 为 实数 域 ， 称 闭 区 间 Lab] 为 闭 区 间 数 ， 其 中 a,beR，a<b。 












































定义 12.2 设 Lab] , [cb] 为 两 个 闭 区 间 数 ,有 如 下 定义 ， 其 中 0 ¢[c,d]: 


[a,b]+[c,d]=[a+c,b+d]; 
[a,5]—[c,d]=[a—d,b—c]; 
[a,b]x[c,d]=[acnad Abcnbd,acv ad ^ bc ^ bd]; 


Peden Ed d CE 
cd c dec dcd 








ENX 12.3 KARR 上 的 模糊 集 ， 





1) A 称 为 R 上 闭 凸 模糊 集 ， 当 日 仅 当 Y4 e(0,]. A ease, BA, 是 闭 区 间 ; 














2) A 称 为 R 上 的 正则 模糊 集 ， 当 且 仅 当 3xoeR， 使 A(x0)=1， 这 时 把 xo 称 为 A 的 正则 点 ; 
3) AMVAE (OL, A AAA, M A 为 有 界 模糊 集 ; 
4) R 上 正则 凸 模糊 集 A 称 为 一 个 模糊 数 ， 正 则 闭 凸 模糊 集 称 为 团 模 糊 数 ， 正 则 有 界 闭 凸 模 


















































z _ [Lx=0 
糊 集 称 为 有 界 闭 唔 模糊 数 ，0 为 零 模糊 数 , 其 中 = I i Er 





5) BEA 为 模糊 数 , 若 suppA= (X €R | AGO 之 0} 所 含 数 都 是 正 实数 ， 则 称 A 为 正 模糊 数 。 记 
有 界 闭 的 正 模糊 数 的 全 体 为 G, 记 G = Gu (7) 



































定义 12.4 在 G 中 定义 “<” 如 下 : VA,BeG, AS B4AM4HVAE (0,1], af <b? 
































al &bi; Hh A, =[af,aż], B, -[b?,b2]. AW "AEG 中 的 一 个 偏 序 。 


























定义 12.5 设 4,BeG, 定 义 : 
(SS v LAWN ABO)) VE 
(SLB) AON ABO) VER 
(doy) VIA ON BE 


(A+ B)(z)= NC (A(x)) ^B(y),VzeR 
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(kA)(z) = A). 40,VzER 





定理 12.1 w A,B E G , 则 VA € (0,1] , 有 (A B)-A; B;;(AXxB);=A,XB;;A / B;=A、 / B, 











Bs 0,(kA), =kA,,k #0 























注 1: HEH 121 及 定义 122 An ABeG, d A-BeG, AxBeG, 








A/BeG(B#0), kAeG(k»0) 

















下 面 讨 论 广义 模糊 关联 规则 的 计算 方法 。 设 T= {trto otn) 是 一 个 数据 库 ， fi 表示 工 的 第 
i 个 元 组 ,天 (i5i,…i 表 示 属 性 集 , 和 Lit] 表示 属性 未 在 第 j 个 元 组 上 的 值 。 EN d M 
Y={yyy2,.…yq} 是 I 的 子 集 , E. XNY=0, D= ffiz.. sf); E={fy1,fy2,.….,fyq); 其 中 fa(i=1,2,....p) 
和 fj;(j=1,2,…,q) 分 别 是 定义 在 属性 x; 和 y; 的 论 域 上 的 模糊 集 ， a 的 隶属 度 取 


为 语言 值 ， 语 言 值 用 有 界 闭 的 正 模 糊 数 和 零 模糊 数 表 示 。 给 定 阀 值 。。， 最 小 支持 率 Q' ， 最 小 
信任 度 B'， 这 里 a,B,e 都 是 有 界 闭 的 正 模糊 数 。 所 要 讨论 的 广义 模糊 关联 规则 的 形式 为 “如 
果 义 是 D 则 Y 是 E”。 下 面 将 分 两 步 来 讨论 此 规则 。 





































































































1) 4 fti [xi] xy =1,2,...n; j=1,2,...p; fylti [yj] yy, i=1,2,...ms j=1,2,...,q; 这 里 x 
与 yi 都 是 有 界 闭 的 正 模糊 数 或 零 模糊 数 。 取 











x, -max(xe R|x;(x) - lj i212, ,mj-12,-p; 
y; =max{x € R| y; (x) =1} i-12,-,mj-12,-q; 
a' = maxí(x e R |a'(x) =} B = max (x e R| B(x) 21 
E -maxi(xeR|e'(x) = 二 M = max (3;, y), d, Be} 
xy Yy, , 
ty =r T „n; j 52, ‘Pp Yy Hap Ley hyd 
! |. " y! 
P Vis M 








易 知 Xi,Yi,0,B,e Vea eA FA AY EB ic FO, EAT AE UI RAE [0,1] 区 间 
Es 














2) ”首先 给 出 两 个 定义 。 














定义 12.6 广义 模糊 关联 规则 “如 果 XX 是 D 则 YY 是 E” 的 广义 支持 率 记 为 Sx Hi 


Sgleo] 


= - xe 
S = > a(x)= 其 它 





DI 


302 


ww ai bbt. com TO00000 








定义 12.7 广义 模糊 关联 规则 "如 果 X 是 D 则 Y 是 E” 的 广义 信任 度 记 为 C, 这 里 





UK 





-ST Toi 0 时 ， 


Nn jl j=l 


n p m 
AS [6,128 . 此 时 易 知 定义 12.6 


id j= 





知 Xij 的 正则 点 都 落 在 [0,1] 区 间 上 ， 故 二 LY a, DES 
n 


3 


Sy ^ S=O , 故 规则 肯定 








i=l j=l 





C 的 最 大 正则 点 不 会 小 于 S 的 最 大 正则 点 ， 


MS Fla, CAI pn tts, 
H. 


也 就 是 说 C 不 会 
S>B 时 ， 则 认为 规划 “大 

















“4 Sa 











12.3 挖掘 关联 规则 的 数组 方法 





X ZE 


Xj Xy 
a(x;)= 5 其它 
“会 被 采用 。 
HA) S 和 定义 12.7 中 的 C 都 属于 G 。 同时 ,出 


E 则 点 也 落 在 [0,1] 


/ 

















第 一 步 
区 间 上 ， 即 





小 于 S。 由 于 S,C ab 都 属于 GG ， 





X Æ D 则 YY 是 E” 可 被 采 














文献 [ 马 洪 文 00] 提 出 了 一 个 新 的 计算 候选 项 集 出 现 频 率 的 方法 ， 即 效率 较 高 的 数组 方法 。 








扫描 DB, 求 出 





频率 1- 项 集 的 集合 F;7(a1,25,. 22 





Kn 2 








,an) > 

















空间 ， 再 扫描 DB， 求 出 最 大 空 























算法 12.2 数组 方法 。 
Input: DB,minsup. 








Output: Result= 所 有 的 频繁 项 集 ， 和 它们 的 支持 度 。 














方法 : 
/第 一 遍 整 








个 扫描 DB 























求 出 最 大 空间 V; 


if CV 能 完全 装 入 内 存 ) 








/第 二 遍 整 个 扩 

















Y, 
求 出 频繁 1- 项 集 的 集合 Fl={a1,a2,.… 


An}; 


DB / 











求 出 最 大 空 





else 
分 为 若干 能 完 
遍 整 个 扫 


一 块 ) 








Pda 
for CV 的 每 























间 上 的 支持 度 


装 入 内 存 的 子 块 
DB*/ 
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侍 数 组 (by,bo,... 


bo. biE Fi 为 最 大 





间 上 的 支持 度 。 最 多 扫描 DB WP. BOE MUP: 
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求 出 最 大 空间 子 块 上 的 支持 度 ; 


endif 





Result: =V 上 的 支持 度 大 于 minsup 的 项 集 ; 























首先 对 比 一 下 该 算法 与 抽样 人 






































法 。 由 于 抽样 算法 为 了 保证 基本 上 扫描 一 遍 成 功 ， 所 以 选 




















取 的 lowsup 比 minsup 小 很 多 ， 产生 的 S 元 素 个 数 一 般 情况 下 比 Lk 、Cx 元 素 个 数 大 很 多 ， 有 


时 是 几 倍 。 这 大 大 降低 了 它 的 效率 ， 

















而 减 小 IO 时 间 带 来 的 益处 也 消耗 没 了 。 




















其 次 对 比 一 下 该 算法 与 DIC 算法 。 











T DIC 算法 实质 上 类 似 于 新 算法 。 它 在 抽样 时 选取 














前 K 块 做 为 子 样 ， 所 以 其 产生 的 频繁 项 集 的 超 集 $, 一 定 不 如 随机 抽样 时 产生 的 频繁 项 集 的 超 
R S 更 接近 实际 数据 。 如 果 数 据 分 布 不 均匀 时 ，DIC 算法 将 比 Apriori 算法 还 要 费时 。 
而 且 计 算 S 文 持 度 采取 数组 计算 的 万 法 ， 它 的 效率 是 很 高 的 。 例 如 ,假设 有 一 个 8 个 元 

















素 的 顶层， 有 一 条 记录 含有 顶层 项 伯 
























































EARN 4 项 。 当 扫描 DB 时 ， 对 于 Apriori 算法 ， 用 hash 树 














计算 至 少 要 检验 =15 次 , 计数 15 次 。 















































而 采用 数组 计算 的 方法 , 则 只 需 检验 8 次 , 效率 提高 50%。 








12. 4 任意 多 表 间 关联 规则 的 并 行 挖掘 





























目前 数据 挖掘 基本 是 在 单个 表 (关系 ) 内 进行 的 ， 文 献 [74]. 首次 将 AQ 学 习 算法 用 于 多 表 









































间 关 联 规 则 的 提取 ， 但 由 于 AQ 算法 











本 身 的 制约 ， 表 间 的 联系 仅 能 通过 关键 字 表达 ， 数 据 必 须 




















全 部 放 入 内 存 ， 因 而 局 限 性 较 大 。1 


























于 表 间 连接 时 空 开销 较 大 ， 而 且 多 个 表 可 能 属于 不 同 的 























数据 库 ， 甚 至 不 同 的 机 构 ， 因 安全 性 等 因素 不 能 将 其 在 物理 上 连接 起 来 ， 因此 产生 从 多 个 表 











中 直接 提取 关联 规则 的 问题 。 





























文献 [ 左 万 利 99] 考 虑 任意 多 表 〈 关 系 ) 间 以 语义 相关 属性 所 表示 的 一 般 联 系 。 相 关 属 性 









































可 以 是 关键 子 或 其 它 对 等 属性 。 算 法 面向 大 数据 集 ， 不 受 内 存 容量 的 制约 。 数 据 限定 为 布尔 














属性 ， 类 别 属性 数据 转换 为 布尔 属 

































































性 数据 后 也 可 用 此 方法 。 数 据 挖掘 首先 在 多 表 内 并 行进 行 ， 























然后 根据 相关 属性 推算 多 关系 间 的 规则 ， 得 到 满足 给 定 文 持 度 和 置信 和 度 的 所 有 跨 表 间 的 关联 


























规则 。 























12.4.1 问题 的 形式 描述 











WRKA)A Vy, Wo Wy Attr(vi) 表 示 v; (二 1,2,.…..,n) 的 属性 集 ,，Ac;=Attr( v )NAttr( v 

















iJ V; 5j Vin (i=1,2,….,n-1) 的 公共 属性 集 。 & A =Attr( Y 1) — Aci, A=Attr( V) — Aci —Ac\(i=2 














3, ...,n-D); A,"Attr( V.) —Acspo. A, 的 所 有 属性 编号 为 1,2,...,ri;。 为 处 理 方便 ， 将 表 (关系 ) 
转换 为 事物 形式 ， 若 Y={ft,b, ,地 是 元 组 的 集合 ， 则 6 — (tuto, un) MPA, 其 中 


ti={ilt, Li] =True, t€ v). 467 






































{tint see El VV 二 {tiltiz,.…} 得 到 的 事物 集合 。 任 意 多 表 间 


关联 规则 数据 挖掘 就 是 寻找 所 有 满足 给 定 支 持 度 minsup 和 置信 度 minconf Wai 7st: 
XoY, X,Yc U4 AMPS XUTE 4, Ga m 


其 中 X,Y 是 属性 (编号 ) 的 集合 ， 














L 


《属性 〈Aci=1) 的 元 组 的 个 数 ， 




















表示 Vi 中 包含 公共 属性 (Aci1=1 H. 











尔 为 项 集 。 这 种 规则 的 直观 含义 : ZEW, Woe, Vafa 


























共 属 性 U Aci=1 连接 得 到 的 表 〈 关 系 ) F, 包含 X 的 元 组 通常 也 包含 Y。 令 ml 表示 Yi 中 包含 
jt 





m, 表示 Ws 中 包含 公共 属性 (Acal) 的 元 组 的 个 数 ， m 
Ac 二 1, i-2,...,n-DIJ262H A23, Ww, wo, vu EAE 
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count(X;)2m;, JF e = J] coux, UY), W xe 的 支持 度 为 


i=l 








sup( X => Y) =sup(Y > X) ee 
joinsize 
置信 和 度 为 
e e 
conf (X — Y) = —————_., conf(Y > X)=— 
II count(X;) || county) 
i=l i=l 


12.4.2 单 表 内 大 项 集 的 并 行 计算 





属性 U Aci=1 连接 后 所 得 表 中 元 组 的 个 数 joinsize=m1xm2x...xmn。 令 X=X1UX2U...UX,， 其 


中 XiEAi。 若 count(X) zs 6 ; 中 包含 Xi H Attr( Vwi) 一 A 二 1 的 元 组 的 个 数 (如 X9, W 


假定 事物 及 项 集中 的 项 按 字 典 排序 ， 含 有 kk 个 项 的 项 集 称 为 k HR, k 项 集 c 的 k 个 项 表 
WA cll).c[2],....clk]. 设 u 是 关于 Ai 的 一 个 项 集 ,， 由 于 只 对 多 表 间 关联 规则 感 兴趣 ， C 
































当 存 在 一 个 关于 Ai 为 ) 的 项 集 v， 使 得 count(u)xcount(v)/joinsize>minsup 时 ，u 才 称 为 大 项 集 。 

















反之 ， 若 对 任意 关于 AGDER v, F count(u)xcount(v)/joinsize<minsup, Jl) u 不 是 大 项 集 。 

















BA k 个 项 的 大 项 集 称 为 大 k 项 集 ， 所 有 大 k 项 集 的 集合 记 为 Lk。 若 _u 是 一 个 大 项 集 ， 则 mu 
的 任意 一 个 非 空子 集 是 大 项 集 ， 反 之 ， 若 u 的 某 一 非 空子 集 不 是 大 项 集 ， 则 u 不 是 大 项 集 。 






































ny 














WR u 不 是 大 项 集 ， 则 它 与 任意 关于 U Ai 的 项 外 


j*i 








4 

















形成 多 关系 间 规 则 。 为 避免 产生 不 必要 的 k 项 集 ， 首 先生 成 Li 的 一 个 较 小 的 超 集 Co C PE 
意 一 个 k 项 集 的 所 有 非 空 子 集 均 为 大 项 集 ， 称 Ci 为 候选 大 k 项 集 的 集合 ， 由 Li 得 到 ， 算 法 























candi gen 见 文献 [244 ]. 

















v 不 能 产生 多 表 间 的 大 项 集 ， 因 而 不 能 参与 





由 Cix( 其 中 i 表示 关系 Vi;, k 表示 k 项 集 ) 求 La 需 扫 描 5 ;并 统计 Ca 中 各 k MRE 5i 中 出 
现 的 次 数 ， 此 工作 由 count 完成 。 对 于 每 个 te 89,ce€Ci, FF ct, WM c.count=c.count+1。Ci 












































分 别 与 各 自 对 应 的 关系 有 关 ， 因而 可 同时 计算 。Lii 与 Cu 有 关 ， 需 待 Ci 求 出 后 得 到 。 




















求 得 后 , (Ci,Li) 与 (Cj,L)(k>2, 六 ) 的 计算 互 不 依赖 ， 可 以 同时 进行 。 
在 61，65,...，61 中 同时 求 大 项 集 工 ,Li2,…,L21,L22,…,Ln1,Lmw.……. 的 并 行 算法 : 




















算法 12.3 求 大 项 集 的 并 行 算法 . 


Parbegin 
{C11={all 1-itemset in A1); 
forall transaction t; € 6 1 do count(ti,C11)}; 
1C217 (all 1-itemset in Ao}; 
forall transaction t; € 6 do count(t2,C21)}; 


{C= (all 1-itemset in An}; 
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forall transaction t, € ô , do count(tp,Cn1)}5 
parend; 
parbegin 
Lu7íei| c1 E€ Cii, (de € Cj) AGF1),(c1.countxc.count)/(m,xm,)=minsup}; 
L2i={fczl C2 C31, (de € Cj) A (j22).(c».countxc.count)/(m»*m;)2minsup] ; 








Lai e| Cn € Cui, (de € Cj) A GAN), (cs.countxc.count)/(m;xm;)2minsup] ; 
parend; 
parbegin 
{for (k=2; Li iz Ø ; k++) 
(candi gen(Lik-1,Cix); 
forall transaction t; € 6 | do count(t;,C;); 
Lic {c| ei € Ci, (3c € Cj) AGF), (ci.countxc.count)/(m;xmj;)2minsup] } ); 
{for (k=2; Lax-14 Ø ; k++) 
(candi gen(L2x-1,C2x); 





forall transaction t; € ô > do count(t2,C2,); 
Ly={e2| c2 € €x, (de € Cj) A (322), (e».countxc.count)/(m»xm;) 2minsup] )  ; 





{for (k=2; Lai Ø ; k++) 
{candi gen(Lak-1,Cax); 
forall transaction t; € 6 , do count(t,, Cu); 
Lyc fei| Cn € Cox, (de € Cj) A GAN), (cs.countxc.count)/(m,xmj)2minsup] }}; 





parend; 


Answerj-U Li; 
k 


Answer=U La; 
k 


Answetr,= U Lik. 
k 


车 在 网 络 环境 中 ，V i，VW2.….，W， 分 别 属 于 不 同 的 站 点 ， 当 LoLo Ly 在 各 自 站 点 求 
出 后 传 给 其 它 站 点 ， 则 LioLzo.…Lme(k>2) 的 计算 可 以 在 不 同 站 点 上 同时 进行 。 


12.4.3 任意 多 表 间 大 项 集 的 生成 


上 述 多 关系 间 大 项 集 的 定义 ， 由 单 关系 内 的 大 项 集 生成 两 关系 间 的 大 项 集 ， 进而 生成 
三 关系 间 的 大 项 集 乃 至 多 关系 间 所 有 可 能 的 大 项 集 ， 多 关系 间 大 项 集 的 生成 算法 为 

算法 12.4 多 关系 间 大 项 集 的 生成 算法 。 

Parbegin 






































juri 
T 



























































forall large k-itemset u € Li, k>1 do u.sup-u.count/m;; 
forall large k-itemset u € Lx, k>1 do u.sup-u.count/m;; 


forall large k-itemset u € Lak, k>1 do u.sup=u.count/m,; 
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parend; 


multitemset;=U) Answer; 
i 


for (1722; multitemset; ;Z  ; i++) do 
forall large itemset u € multitemset;.; do 
forall large itemset v € multitemset; do 
if (uNv= Ø ) and ((u.supxv.sup)>minsup) then 
{(u+v).sup=u.sup*v.sup; 
insert u+v into multitemset;;} 
multitemset-multitemset,; U multitemset;U... 


12.4.4 跨 表 间 关联 规则 的 提取 


对 于 任意 大 项 集 1Emultitemset 若 为 1 的 任意 非 空 子 集 , AW l-uu 是 否 满足 给 定 的 文 
持 度 和 置信 度 ， 如 是 ， 则 输出 对 应 的 列 含 式 以 及 文 持 度 和 置信 度 。 另 外 , 对 给 定 的 大 项 集 
lEmultitemset, 若 u WFAA XRJG, M u 的 任意 子 集 也 可 作为 蕴含 式 的 后 项 。 反 之 , 若 
u 的 某 一 非 空子 集 不 能 作为 草 含 式 的 后 项 , u 也 不 可 能 成 为 前 含 式 的 后 项 ， 故 在 生成 缠 含 式 后 
项 侯 选 集 sci 时 ， 调 用 过 程 candi gen(). uj KR u 是 1 的 一 个 含 j 个 项 的 子 集 ， 多 关系 间 关 联 规 
则 提取 算法 如 下 : 


算法 12.5 多 关系 间 关 联 规则 提取 算法 。 


forall large k-itemset 1 € multitemset, k>2 do 














































































































I 


{forall large 1-itemset ucl do 
if l.sup/u,.sup*minconf then 
{outputrule: attr name(I-u')=> attr name(u') 
with support: l.sup and confidence: |.sup/u,.sup; 
insert ul into S13} 
for (i=2; si. Ø ; i++) do 
{candi gen(si.1,sc;); 
forall u € sc; do 
if .sup/u'.sup>minconf then 
{outputrule: attr name(I-u') —attr name(u') 
with support: Lsup and confidence: L.sup/u'.sup; 
insert u' into si} 
其 中 函数 attr_ name 将 属性 编号 转换 为 对 应 的 属性 名 称 。 容 易 证 明 , 以 上 算法 生成 所 有 满足 要 
求 的 多 表 间 关联 规则 ， 与 先 将 多 个 表 按 相关 对 等 属性 自然 连接 后 再 行 开采 所 得 的 结果 一 致 。 
综 上 可 见 ， 数 据 挖掘 可 在 任意 多 个 表 间 同时 进行 ， 并 得 到 跨 表 间 的 蕴含 规则 。 对 于 大 数据 
集 来 说 ， 影 响 数据 挖掘 速度 的 主要 因素 是 对 数据 集 的 访问 方式 和 访问 次 数 。 对 于 顺序 扫描 数据 
集 ， 其 扫描 次 数 由 可 能 形成 的 大 项 集中 项 的 个 数 确定 , 在 最 坏 的 情况 下 ,大 项 集中 包含 所 有 属 
性 ,扫描 次 数 等 于 数据 集中 属性 的 个 数 , 对 于 93, 965... 6, 来 说 ,扫描 次 数 的 上 界 分 别 为 
Tb 因而 是 非常 有 效 的 。 
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12.5 基于 分 布 式 系 统 的 关联 规则 挖掘 算法 


数据 库 或 数据 仓库 可 能 存储 相当 大 数量 的 数据 ， 在 这 样 的 数据 环境 下 进 
充足 的 处 理 器 资源 ， 而 分 布 式 系统 是 一 个 可 能 的 解决 方案 。 
司 的 数 以 万 计 的 交易 数据 就 入 





ee 
需要 


抉 可 外 

















本 来 就 是 分 布 式 的 。 例 如 : ET 
事实 使 得 研究 丰 
行 算法 的 研究 。 
性 ， 它 可 以 作为 挖掘 关联 规则 的 理想 平台 。 




















发 百 
E 数 据 库 中 挖 
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行 关联 规则 的 挖 
同时 许多 大 型 数据 库 
可 能 存在 不 同 的 地 点 ， 



































ea 

















法 显得 非常 必要 ， 并 同时 带动 并 























因为 分 布 式 名 























法 具有 高 度 的 适应 性 、 



































H 





FAKE 
PEOR PEXETT oP 
D.W.Cheung 揭示 了 分 散 数据 集 与 集 
分 布 式 系统 的 关联 规则 挖 扩 





aS 
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r1 











i411: FDM, 





在 挖 据 关 联 规 则 时 需要 处 理 的 数据 量 














库 中 存储 了 大 量 的 交易 数据 ， 每 一 个 交易 都 有 
外 ， 可 以 认为 该 数据 库 是 “水 平 ” 分 片 的 《多 














递 进 行 通讯 的 分 布 式 系统 中 。 























基于 以 上 假设 来 考察 对 关联 


事务 数据 库 的 存在 ， 这 些 数据 库 中 
上 |， 从 而 利用 分 布 式 系统 带 来 的 高 度 的 可 人 
数据 集 之 间 的 一 些 有 趣 关系 ， 并 提出 了 
通过 生成 数量 较 少 的 候选 数据 集 ， 大 大 减少 了 





bf 














Atl 





可 伸缩 性 、 低 性 能 损耗 和 容易 连接 等 特 











储 独 海量 的 数据 ， 很 容易 想到 将 一 个 集 
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缩 性 ， 达 到 提高 效率 的 目的 
个 快速 的 基 
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以 事务 数据 库 作为 讨论 对 象 ， 而 相应 的 方法 可 以 很 容易 地 扩 





展 到 关系 数据 库 中 ， 该 数据 





个 唯 








的 交易 码 CTIDO 和 一 组 属性 数据 。 此 
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MU ar te a, 1Z 











对 交易 进行 分 组 )， 并 























被 分 配 在 靠 消 息 传 














据 关 联 规则 的 主要 代价 为 对 数据 库 中 


























































































































大 数据 集 的 计算 。 而 对 这 些 大 数据 集 进行 分 布 式 计算 会 遇 到 一 些 新 的 问题 。 你 可 以 在 一 个 地 
方 很 容易 地 进行 计算 ， 但 是 一 个 局 部 的 大 数据 集 对 于 全 局 来 说 不 一 定 是 大 数据 集 。 因 为 对 其 
他 地 点 广播 全 部 数据 的 代价 是 非常 昂贵 的 ， 一 种 可 行 的 做 法 是 向 其 他 地 点 广播 数据 集 的 聚合 
数据 ， 而 不 考虑 局 部 数据 量 的 大 小 。 但 是 ， 一 个 大 数据 库 可 能 包括 非常 多 数量 的 数据 集 的 组 
合 ， 这 样 ， 需 要 传输 的 信息 量 也 是 惊人 的 。 



































































































































































































































































































































































































































通过 观察 ， 可 以 发 现在 局 部 大 数据 集 与 全 局 大 数据 集 之 间 ， 存 在 着 一 些 有 价值 的 关联 。 

只 要 最 大 限度 的 利用 这 些 关 联 ， 就 可 以 减少 信息 的 传输 量 ， 对 需要 局 部 处 理 的 数据 进行 过 滤 。 

如 前 所 述 ， 目 前 已 经 存在 两 种 挖 据 关联 规则 的 并 行 算法 一 一 PDM 和 计数 分 布 C D ) fk, 

它们 都 是 基于 各 自 独 立 的 并 行 系统 的 ， 然 而 ， 它 们 也 可 以 用 在 分 布 式 环境 中 。FDM 相对 于 以 

上 提出 的 两 种 算法 ， 有 着 独特 的 特性 : 

1. 候选 数据 集 的 生成 算法 思想 与 Apriori 算法 类 似 。 但 是 ， 在 每 个 大 数据 量 的 重复 数据 集中 
生成 小 数据 量 的 候选 数据 集 的 过 程 中 ， 发 现 了 一 些 关 于 局 部 的 大 数据 集 和 全 局 的 大 数据 
集 的 有 价值 的 关系 。 这 样 ， 就 可 以 利用 这 些 关系 来 减少 信息 传输 量 。 

2. 在 候选 数据 集 被 选 出 以 后 ， 在 每 一 个 单独 的 地 点 ， 都 可 以 利用 两 种 剪 枝 技术 一 一 局 部 剪 
枝 和 全 局 剪 枝 对 候选 数据 集 进 行 裁剪 。 

3. 为 了 决定 一 个 候选 集 的 数据 量 的 大 小 ， 利 用 一 个 时 间 复 杂 度 为 OO) 的 算法 来 进行 聚合 数 
Hd Ad, n 代表 整个 网 络 的 节点 数 。 比 起 对 Apriori 算法 进行 直接 的 改编 ， 其 效率 要 高 
得 多 ， 因 为 后 者 的 时 间 复 杂 度 为 Om. 
注意 到 在 FDM 算法 中 可 以 采用 几 种 不 同 的 局 部 剪 枝 和 全 局 剪 枝 算法 ， 着 重 研究 了 三 个 

FDM 的 版 本 : FDM-LP，FDM-LUP，FDM-LPP， 它 们 都 具有 相似 的 结构 ， 但 却 具 有 不 同 的 剪 

枝 算法 。FDM-LP 算法 只 讨论 了 局 部 前 枝 ，FDM-LUP 算法 讨论 了 局 部 剪 枝 和 上 界 前 枝 ; 








FDM-LPP 算法 讨论 了 局 部 剪 枝 和 逐 点 剪 枢 。 
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12.5.1 候选 集 的 生成 
























































在 分 布 式 环境 中 考察 有 关 大 数据 集 的 某 些 特殊 属性 是 非常 重要 的 ， 因 为 这 些 属 性 可 能 被 利 
用 来 显著 减少 在 挖掘 关联 规则 时 的 网 络 信息 传输 量 。 
在 大 数据 集 与 分 布 式 数 据 库 中 的 地 点 之 间 有 一 个 重要 的 关系 : 每 一 个 全 局 的 大 数据 集 必 






































定 在 某 一 个 地 点 是 局 部 大 数据 集 。 如 果 一 个 数据 集 X 在 地 点 S 既是 全 局 大 数据 集 又 是 局 部 大 























可 以 观察 到 关于 局 部 大 数据 集 和 全 X 
在 地 点 Si 是 局 部 大 的 ， 那 么 它 的 所 有 子 集 在 地 点 Si 也 是 局 部 大 的 。 第 二 、 如 果 一 个 数据 集 X 
也 























数据 集 。 可 以 称 X 在 地 点 Si 是 全 局 大 的 ， 一 个 地 点 所 有 的 全 局 大 的 数据 集 将 作为 该 地 点 的 候 


选 数据 集 的 源 数 据 集 。 








局 大 的 数据 集 的 两 个 特征 : 第 一 、 如 果 一 个 数据 外 





pim 














pim 




















在 地 点 Si 是 全 局 大 的 ， 那 么 它 的 所 有 子 集 在 地 点 Si 也 是 全 局 大 的 。 注 意 到 在 集中 的 环境 中 


有 类似 的 关系 ， 以 下 给 出 的 是 利 ) 





























在 分 布 式 环境 中 有 效 生 成 候选 集 的 技术 得 出 的 重要 结果 。 








引 理 12.1: 如 果 一 个 数据 集 X 是 全 局 大 的 ， 那么 存在 一 个 地 点 Si Ain), X 以 及 它 的 
所 有 子 集 在 地 点 Si 是 全 局 大 的 。 





证 明 : 如 果 X 在 任何 地 点 都 不 是 

















局 部 大 的 ， 即 X.sup<s*D; (i=l,....n), FÆ, X.sup<s*D;, 














BI X 不 可 能 为 全 局 大 的 , 矛盾 。 所 以 X 必定 在 某 一 个 地 点 Si 是 局 部 大 的 , 故 X 在 Si 是 全 局 大 


H, AT X 








的 所 有 子 集 在 地 点 Si 是 全 局 大 的 。 口 

























































































用 GLi 表 示 在 地 点 S; 的 全 局 大 数据 集 ，GLim 表 示 在 地 点 Si 的 全 局 大 的 k- 数 据 集 ， 根 据 引 
理 12.1， 如 果 XEL oo， 那么 存在 一 个 地 点 Si (1 入 i 和 n)， 使 得 X 的 所 有 大 小 为 k-1 的 子 集 在 
地 点 Si 是 全 局 大 的 ， 也 就 是 说 ， 他 们 属 























T GLiuk-D。 








如 果 对 Apriori 算法 进行 直接 的 扩展 , 那么 Apriori 算法 生成 大 小 为 k 的 结果 数据 集 CA qo 








H 


表示 经 过 k 次 迭代 生成 的 候选 集 ， 也 就 是 : 
CA qo —Ariori gen CL 1) 


CGi ao 





(k-1) Z L (G-D 





= Ariori gen (GL aq.) 











» CGi qo 是 CA qo 的 子 集 。 





在 每 一 个 地 点 ， 设 CG; ao 为 对 GL; up 施行 Apriori_gen 算法 生成 的 候选 数据 集 ， 也 就 是 : 








在 这 里 ,CG 代表 从 全 局 大 的 数据 集中 生成 的 候选 集 。 因 此 CG oo 由 GL; du ÆR, 而 GL; 
在 以 后 的 论述 中 ， 用 CG ao 来 代表 集合 UU” CGi wo 



































~ 





定理 12.1: 假定 CG; (k) = Ariori_gen (GL del)» 对 于 每 一 个 kl, 所 有 的 全 局 大 的 k- 数 





HEE L qo 是 





CG w =U’ CG; œ WTS 








证 明 : WXEL a， 根据 引 理 12.1, 


子 集 在 地 点 





pim 














Si 是 全 局 大 的 ， 





Am 
o 


存在 一 个 地 点 Si xim, X 的 所 有 大 小 为 k-1 的 








因此 ， XECGi (Ko 所 以 ， 


L œ c CG œ mo CGi ao =U Ariori gen (GL deD )。 


定理 12.1 表明 : CG œ 是 CA do 的 一 个 子 集 ， 并 且 有 可 能 比 CA qo 的 数据 量 小 很 多 ， 于 








据 集 的 分 布 程度 。 这 个 定 到 





集 CGiao HJ 











是 就 可 以 作为 大 小 为 k 的 数据 集 的 候选 集 。 两 个 数据 集 CG qo 和 CA qo 有 多 大 差别 取决 于 数 
EXE T FDM 算法 中 生成 候选 数据 集 部 分 的 基础 。 首 先 ， 候 选 数据 
以 在 每 个 地 点 S A k 次 达 代 在 本 地 生成 。 经 过 数 次 支持 集 的 交换 ,全 局 数据 集 























GL; ao 就 可 以 通过 对 CG; qo EAE, YE GL; qo» 的 基础 上 ， 又 可 以 生成 经 过 eel 次 迭代 的 候 


选 数据 集 。 根 据 第 5 节 的 性 能 研究 ， 利 | 






































这 种 方式 ， 候 选 数据 集 的 数据 量 可 以 减少 到 CD 算法 
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生成 的 数据 量 的 10-25% 。 
例 12.1 证 明了 利 









































定理 一 对 减少 数据 量 的 有 效 性 





例 12.1 假设 茶 个 系统 中 有 三 个 分 布地 点 将 一 个 数据 库 系 统 DB 分 为 DB1!,，DB，，DB3。 并 假设 
大 的 1- 数 据 集 (经 过 一 层 迭 代 计 算 所 得 ) Lip ={A, B, C, D, E, F, G, H}, 其 中 ， A、 B 


























和 C 在 地 点 S 是 局 部 大 的 ，B、C AID 在 地 点 $: 是 局 部 大 的 ，E、F、G 和 HH 在 地 点 $3 是 局 
部 大 的 ， 所 以 ，GL ob ={A，B，C}，GL2 o ={B， 
HE 12.1, 在 地 点 Si 的 大 小 为 2 的 候选 数据 集 为 CG 
BC，AC}。 类 似 的 ，CG; œ ={BC, CD, BD}, CG; œo ={EF, EG, EH, FG, FH, GH}, 





C， D}, GL; cp ={E; F, G, H}, 根据 定 
(QD CG, (20 —Apriori gen (GL, ay) ={AB, 
因 








此 ， 大 的 2- 数 据 集 的 候选 数据 集 CGo= CG oœ UCG: œ UCG o». d. 11 个 候选 元 ， 但 是 ， 
如 果 对 L oo 直接 进行 Apriori gen 变换 ， 那 么 候选 数据 集 CA c» —Apriori gen (L) 将 包含 28 














个 元 素 。 这 说 明 利用 定理 12.1 对 减少 候选 数据 集中 的 数据 量 是 乱 


12.5.2 候选 数据 集 的 本 地 前 枝 


根据 定理 12.1， 通 常 可 以 在 分 布 式 环境 中 选择 生成 一 个 比 直接 应 用 Apriori 算法 生成 的 数 














据 集 数据 量 小 得 多 的 候选 数据 集 。 


HA 














换文 持 元 合计 数 的 信息 ， 注 意 到 CG ao 中 
局 部 的 剪 枝 技 术 进 行 剪 梳 。 总 的 思想 是 : 
Si 并 不 是 局 部 大 









































地 点 是 局 部 大 的 ， 那 么 ， 只 有 六 为 
以 ， 为 了 计算 
ECGi q» 并 


选集 并 


2 立 
IH] Hr 





































































































候选 数据 集 CG ao 生成 成 功 后 ， 为 了 
的 某 些 候选 数据 集 在 进行 合计 数 交 换 之 前 就 可 利用 
在 每 一 个 地 点 Si， 如 果 一 个 数据 集 XECGi ao 在 地 点 


^ 


可 


EH 


FEA Ja B s D UCE DTA 























有 效 的 。 














地 点 之 间 交 


























， 也 就 没有 必要 来 算出 它 的 全 局 大 的 支持 元 合计 数 来 决 
的 ， 这 个 结论 是 基于 如 下 原因 : 如 果 X 是 小 的 〈 也 就 是 说 不 是 全 局 大 的 )， 或 者 
大 的 那些 地 点 才 有 必要 计算 X 的 全 局 文 持 合计 数 。 所 
所 有 的 大 的 k- 数 据 集 ， 在 每 一 个 地 点 Si， 伐 选 数 
在 地 点 Si 是 局 部 大 的 。 为 了 简略 起 见 ， 
在 地 点 Si 是 局 部 大 的 。 根 据 以 上 的 讨论 ， 在 每 一 层 途 代 《〈 




















定 它 是 否 是 全 局 大 
它 可 能 在 别 的 





























据 集 就 可 以 只 限定 在 数据 集 X 
用 来 表示 那些 在 CG; qo FP e 
E k 次 迭代 ) 的 过 程 中 ， 














LL, qo 













































































































































































可 以 按照 以 下 步骤 计算 出 在 地 点 Si 全 局 大 的 上 -数据 集 : 

1. 候选 集 的 生成 : 根据 在 地 点 Si 经 过 k-1 次 迭代 生成 的 全 局 大 的 数据 集 的 基础 上 ， 利 用 公 
式 CGi qo — Ariori gen (GL dep? 生成 CG; (qoo 

2. 本 地 剪 枝 : 对 于 每 一 个 数据 集 XECGi ao， 扫描 每 一 个 局 部 数据 库 DB; 以 计算 本 地 支持 合 
计数 X.supi。 如 果 在 地 点 Si 不 是 局 部 大 的 , 那么 将 其 从 侯 选 数据 集 LL; qo 中 删除 。( 注 : 
这 种 剪 枝 上 只 是 将 X 从 地 点 Si 的 候选 数据 集中 删除 ，X 还 可 能 出 现在 别 的 地 点 的 侯 选 数据 
集中 。 

3. SPAT HOCH: 将 LL oo 中 的 全 选 元 向 其 他 地 点 广播 ， 以 收集 支持 合计 数 。 计 算 全 局 
的 支持 合计 数 ， 并 得 出 在 地 点 Si 所 有 全 局 大 的 k- 数 据 集 。 

4. 广播 挖掘 结果 : 将 计算 所 得 的 全 局 大 的 k- 数 据 集 疝 其 他 地 点 广播 。 
为 了 便于 理解 ， 表 12.2 中 列 出 了 目前 用 到 的 所 有 符号 。 
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4122 ”符号 表 
D DB 中 的 事务 数 
S 最 小 支持 度 minsup 
Le 全 局 大 的 k- 数 据 集 
CAg 从 Lo PAE BG EE pecie cds f 
X.sup XT OX 的 全 局 支持 合计 数 
Di DB; 中 的 事务 数 
GL; qo 在 地 点 S; 全 局 大 的 k- 数 据 集 
CGi um GL; a.i 生成 的 候选 数据 集 
LL; qo 在 CG; qo 中 局 部 大 的 k- 数 据 集 
X.sup; 在 地 点 Si 的 局 部 支持 合计 数 








为 了 举例 说 明 以 上 步骤 ， 继 续 对 例 1 进行 如 下 操作 : 





例 12.2: 假设 例 12.1 中 
时 假设 最 小 支持 度 s=10%。 








的 数据 库 包 含 
然后 ， 

















150 个 事务 











，3 个 局 部 数据 库 各 包含 
根据 例 12.1， 经 过 第 二 次 迭代 ， 在 地 点 Si 生成 的 候选 数据 
集 为 CG c» ={AB, BC, AC}; 在 地 点 S ERRAR CG a) ={BC, AD, CD}; 在 


50 个 事务 








地 点 $3 生成 的 侯 选 数据 集 为 CG3 ,={EF，EG，EH，FG，FH，GH}。 为 了 计算 全 局 大 的 2- 











数据 集 ， 必 须 首 先 计算 局 部 的 支持 合计 数 ， 表 12.3 列 出 了 所 得 计算 结果 。 


















































表 12.3 局 部 大 的 数据 集 
X.supi X.sup; X.SUp3 

AB 5 BC 10 EF 8 

BC 10 CD 8 EG 3 

AC 2 BD 4 EH 4 
FG 3 
FH 4 
GH 6 

M# 12.3 中 可 以 看 出 ，AC.supi=2<s*Di=5。 所 以 AC 并 不 是 局 部 大 的 ， 因 
在 地 点 S, 就 在 剪 枝 后 被 删除 ， 另 一 方面 ，AB 和 BC 都 有 着 足够 大 的 局 部 支持 合计 数 ， 



































忆 此 ， 候 选 元 AC 
因此 ， 





经 过 局 部 剪 枝 以 后 , 它们 仍然 留 在 候选 集中 。 所以, LL; a) ={AB, BC}. 类似 的 , LL a ={BC, 


CD}, LL; ={EF，GH}， 经 过 局 部 剪 枝 
始 数据 量 的 一 半 还 少 。 当 局 部 剪 枝 完成 后 ， 每 











点 广播 



































， 以 便 生 成 全 局 的 支持 合 
算法 需要 将 AB 的 支持 合计 数 从 地 点 Si H 























数 存储 在 地 点 S, Ue 12.4 的 第 二 行 所 示 ; 


计数 交换 操作 的 结果 ， 
=22>s*D= 15, AB.sup = 
{BC}。 类 似 的 ， GL20) = 





(BC, 


“AVIERE WS. (ES 
13 < s*D = 


15. 





每 一 个 地 点 都 返回 了 全 局 大 的 2- 数 据 集 Loy = 





因由 
CD}; GL; = {EF}. 














至 地 点 So 和 地 点 S3， 然 后 将 传 回 


























TEM EMT ida PER ES 
地 Hi S, 发 现 只 

















上， 在 地 点 Si 的 全 
经 过 向 其 它 地 点 广播 全 
(BC, CD, EF}. 
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后 ， 大 小 为 2 的 候选 集 的 数据 量 被 减少 到 5， 这 比 原 
个 地 点 将 留 在 候选 数据 集中 的 元 素 向 其 它 地 
计数 。 表 12.4 中 记录 了 文 持 合 计数 的 交换 情况 。 


的 支持 合计 











的 地 点 进行 类 似 的 合 
4 有 BC 是 全 局 大 的 ， 








因为 BC.sup 





局 大 的 2- 数 据 集 为 : GLio) = 
局 大 的 数据 集 以 后 ， 
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表 3.4 全 局 大 的 数据 集 



































局 部 大 的 广播 X.supi X.sup; X.sup3 

候选 元 来 源 
AB Si 5 4 4 
BC Sp S 10 10 2 
CD S2 4 8 4 
EF S3 4 3 8 
GH S3 4 4 6 

注意 到 某 些 候选 元 ,如 本 例 中 的 BC, 可 能 在 不 止 一 个 地 点 上 是 局 部 大 的 。 在 以 上 处 理 中 ， 






























































所 有 BC 为 局 部 大 的 地 点 都 向 其 它 地 点 广播 有 关 BC 的 信息 。 这 是 不 必要 的 ， 因 为 对 每 一 个 地 






































点 来 说 ， 相 同 的 信息 只 要 被 广播 一 次 束 足 够 了 ， 所 以 可 以 用 一 种 优化 技术 以 便 消除 这 样 的 元 


A 


ZN o 

















在 以 上 给 出 的 寻找 全 局 大 的 候选 数据 集 的 四 个 步骤 的 执行 过 程 中 ， 还 有 一 个 细微 之 处 值 
得 关注 : 为 了 文 持 步骤 2“ 局 部 剪 校 ” 和 步骤 3“ 文 持 合 计数 交换 ”， 每 个 地 点 Si 都 应 有 两 个 

















支持 合计 数 集合 。 为 了 进行 局 部 剪 枝 , Si 必须 基于 它 的 本 地 候选 集 CGiq 找 出 局 部 支持 合计 数 ; 
为 了 进行 文 持 合 计数 交换 , Si 必须 要 找到 那些 与 其 它 地 点 的 全 局 文 持 合 计数 集合 中 元 素 不 同 的 
个 简单 的 步骤 就 需要 对 DB i 扫描 两 次 ， 一 次 是 为 了 找到 基于 它 的 本 地 候 





局 部 文 持 合 计数 。 
























































选集 CGio 的 局 部 支持 合计 数 , 另 一 次 是 为 了 响应 其 它 地 点 对 该 地 点 支持 合计 数 的 请 求 , 但 是 ， 
这 必定 会 明显 地 降低 整个 系统 性 能 。 











事实 上 ， 对 数据 库 进 行 两 次 扫描 并 不 是 必要 的 ,在 地 点 Sb 在 第 次 迭代 开始 之 前 ,不 仅 
集合 CG 已 经 得 到 ， 一 些 其 它 的 相关 集合 如 CGijqyGj=1,.….,n;jz 也 可 以 得 到 ， 因 为 在 k-1 次 
Ra Ra, PMAR GLi «o G=l,....0) 都 被 广播 至 每 一 个 地 点 ， 候 选 数据 集 CGiay(i=1,.….,n) 
就 可 以 从 相应 的 GL; qv 中 计算 得 出 。 也 就 是 说 ， 在 每 一 次 迭代 的 开始 ， 因 为 前 一 次 从 代 产生 
的 所 有 全 局 大 的 数据 集 都 被 广播 至 所 有 地 点 ， 每 一 个 地 点 都 可 以 计算 出 其 它 地 点 的 候选 数据 





























集 。 那 么 ， 所 有 候选 数据 集 的 局 部 支持 合计 数 都 可 以 在 一 过 扫描 中 获得 ， 并 且 可 以 被 存储 在 







































































































































































一 个 类 似 于 Apriori 算法 中 的 哈 希 树 结构 中 ， 在 局 部 剪 枝 和 文 持 合计 数 交 换 中 所 需要 的 两 套 不 


同 的 支持 合计 数 集合 都 可 以 在 这 个 数据 结构 中 检索 得 到 。 





























12.5.3. {RICHES AY A BY AK 





事实 上 ， 在 其 它 地 点 得 

















在 地 点 Si 的 局 部 剪 枝 中 ， 只 用 到 了 在 DB i 中 得 到 的 局 部 支持 合计 数 对 候选 集 进行 剪 枝 ， 
































到 的 局 部 支持 合计 数 也 同样 可 以 被 用 来 剪 校 ， 利 用 一 种 全 局 的 剪 枝 技 























术 来 实施 这 样 的 剪 枚 ， 这 种 技术 的 要 点 如 下 : 在 每 一 次 迭代 结束 时 ， 可 以 得 到 候选 数据 集 X 
的 所 有 局 部 支持 合计 数 和 全 局 支持 合计 数 ， 在 一 个 候选 数据 集 被 确认 为 是 全 局 大 的 以 后 ， 这 








些 局 部 文 持 合 计数 和 全 局 文 持 合 计数 都 可 以 向 所 有 地 点 进行 广播 ， 利 用 这 一 信息 ， 就 可 以 在 
以 后 的 迭代 中 对 候选 数据 集 进行 一 些 全 局 前 梳 。 

假设 在 每 一 次 迭代 结束 后 , 如 果 发 现 某 一 候选 数据 集 是 全 局 大 的 ， 系统 自动 将 每 一 个 候选 
元 的 局 部 支持 合计 数 向 其 它 地 点 广播 。 假 设 X 是 一 个 在 k 次 迭代 结束 后 大 小 为 k 的 候选 数据 

























































































集 。 因 此 ， 在 每 一 个 地 点 都 已 收 到 所 有 X 的 大 小 为 k-1 的 子 集 的 局 部 支持 合计 数 。 对 于 一 个 
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分 支 数 据 库 DBi(1<i<n) 来 说 ， 用 














系 ，maxsupi(X) 就 是 局 部 支持 合计 数 X.supi 的 上 界 函 数 。 











数 的 和 ， 








maxsupi(X)。 要 注意 
maxsup(X) 是 它 的 全 
maxsup(X)<s*D, jj 














maxsupi(X) 来 表示 X 的 所 有 大 小 为 k-1 的 子 集 的 最 小 的 
支持 合计 数 ， 也 就 是 说 ，maxsupi(X)=min{Y.supi|YcX 








局 部 


[Y=k-1}。 根 据 父 集 和 子 集 之 间 的 关 









































AME, Bf SC BH EHS ER 





] maxsup(X) 来 表示 ， 就 是 X.sup WEF. MYL, X.supsmaxsup(X)= 2; , 


的 是 : maxsup(X) 可 以 在 每 一 次 迭代 的 开 


台 时 在 每 一 个 地 点 计算 出 。 








因为 














利 ) 
版 本 时 引入 了 两 种 不 同 的 剪 枝 策略 。 

















同文 持 合 计数 的 上 界 ， 它 就 可 以 被 用 来 进行 全 
BA X 就 不 可 能 成 为 一 个 候选 数据 集 。 这 种 技术 被 称 为 全 
j 全 局 剪 术 和 局 部 剪 校 的 不 同 组 合 可 以 形成 不 同 的 剪 枢 策 略 。 在 讨论 FDM 算法 的 不 同 
第 一 种 方法 被 称 为 上 办 























局 前 校 。 也 就 是 说 ， 如 
BRS. 


ES 


E 


I 

















剪 校 ， 第 二 种 方法 被 称 为 轮流 检 





ABB. PARA EBL, TAIN RASC at BSA. FELLATE, —HhR Si 首先 
生成 候选 数据 集 并 对 其 进行 局 部 剪 枝 。 在 合计 数 交 换 开 始 之 前 ， 地 点 Si 对 余下 的 候选 元 进行 
全 局 剪 核 。 候 选 数据 集 X 的 一 种 可 能 的 全 局 文 持 合计 数 上 界 为 : 









































X.supit 之 maxsup; (X) 
jal fri 





因为 X.sup; 在 
数据 集 进 行 剪 枝 。 




















局 部 剪 枝 后 就 可 以 获得 ， 所 以 ， 该 上 界 可 以 在 地 点 S 被 计 和 




















出 用 以 对 候选 














例 12.3: 继续 对 例 2 中 已 经 在 S 进行 过 














12.3， 经 过 局 部 剪 枝 后 剩 下 的 候选 元 为 AB 4I BC. 在 




















局 部 剪 枝 后 的 候选 数据 集 进 行 全 局 剪 枝 ， 根 据 表 























AN 








12.3 中 可 以 找到 它们 在 地 点 Si 的 


局 部 























支持 合计 数 ， 更 进一步 ， 所 有 它们 的 子 集 在 地 点 Si 的 局 部 支持 合计 数 也 可 以 得 出 ， 将 其 在 表 
12.5 中 列 出 。 表 3.5 局 部 支持 合计 数 
大 的 在 地 点 S, 的 局 部 支持 合计 数 
1- 数 据 集 X.supi X.sup; X.sup3 
A 6 4 4 
B 10 10 5 
C 4 12 5 














根据 表 12.3 和 表 12.5, AB 的 支持 合计 数 的 上 界 应 该 如 下 式 ，(j 














] AB. sup 表示 ) 








AB. sup =AB.sup;+min(A.sup2,B.sup2)+min(A.sup3,B.sup3)=5+4+4=13<s*D. 


因 








为 该 上 界 要 小 于 最 小 支持 度 。 所 以 应 将 AB 从 候选 数据 集 











中 删 去 。 





另 一 方面 ，BC 的 文 持 合计 数 的 上 界 应 该 如 下 式 ，(| 














JBC. sup 表示 ) 





BC. sup =BC.sup)+min(B.sup2,C.sup2)+min(B.sup3,C.sup3)=10+10+5=25>s*D. 








IS 
作为 一 个 候选 元 。 











全 局 剪 校对 减少 候选 元 素 的 个 数 方 








面 








| 数 的 分 布 状况 。 











H 
Fe 


个 有 














为 该 上 界 要 大 于 最 小 支持 度 。 所 以 不 应 将 AB 从 候选 数据 集中 删 去 ， 并 在 地 点 Si 仍然 








了 效 的 技术 ， 它 的 有 效 性 取决 于 局 部 支持 合 
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12.5.4 








合计 数 轮流 检测 































































































ih, ISA Si 需要 O(n) 数 量 级 的 信息 来 得 
局 部 大 的 候选 数据 集 时 非常 少 的 。 所 以 ，FDM f 
个 候选 元 ， 为 了 确保 FDM 在 任何 情 











到 XX 























在 CD 算法 中 , 每 一 个 候选 数据 集 的 局 部 支持 合计 数 被 从 一 个 地 点 向 所 有 其 它 的 地 点 进行 
广播 ， 如 果 设 n 为 数据 库 分 文 数 ， 那 么 对 于 每 一 个 候选 数据 集 需 要 进行 合计 数 交 换 的 数量 级 
O(n’). 

如 果 一 个 候选 数据 集 X 在 地 点 Si 是 局 部 大 
的 文 持 合计 数 ， 通 常 来 说 ， 在 所 有 地 点 都 是 
法 通常 只 需要 少 于 OO 数量 级 的 信息 就 可 以 计算 出 每 











况 下 只 需要 OM) Bs 





量 级 的 信息 就 可 以 计算 出 每 一 个 候选 元 ， 可 





技术 。 


对 于 每 一 个 候选 数据 集 X， 该 技术 用 
希 图 数 ， 将 X 映射 为 一 个 轮 询 地 址 《假设 该 函数 在 人 
的 轮 询 地 址 与 X 为 局 











ee 

















址 是 用 来 计 
地 点 广播 x 的 轮 询 请 











选 数据 集 X ， 有 且 仅 有 一 个 轮 询 革 





数量 级 。 




















1、 























do Tff] 轮 询 地 
照 它 们 


LLijag4 




















Ha 
o 














后 对 每 一 个 不 再 

















H 
和 它们 的 全 
例 12.4: 
S3 被 指 
根据 以 上 指派 ， 

















和 S, 以 便 收 集 文 持 合计 数 ， 对 于 BC 来 说 ， 
BC.sup>>=<BC，10> 将 被 从 S; 送 往 Si。 





下 的 地 点 S3, 


在 进行 k 次 迭代 的 过 程 中 
一 个 地 点 Si 按照 如 下 步 又 进行 合计 数 轮流 检测 。 
将 候选 元 送 往 各 轮 询 地 点 : 假设 在 地 点 So 对 于 每 一 个 轮 询 地 址 Sj, 找到 所 有 属于 集合 
存储 在 集合 LLijw 中 (也 就 是 说 ,将 候选 元 按 
的 轮 询 地 址 分 组 存放 )， 各 候选 数据 集 的 局 部 支持 合 
然后 将 LLijimg 送 往 各 自 相 应 的 轮 询 
、 轮 流 检测 并 收集 支持 合计 数 : 如 果 Si 是 一 个 轮 询 地 址 ， 那么 Si 将 接收 所 有 来 自 
集合 LLiit。 对 于 每 一 个 接收 到 的 候选 数据 集 X, Si 首先 找到 送出 X 
列表 上 的 地 点 广播 轮 询 请 
、 计 算 全 局 大 的 数据 集 : 
合计 数 ， 然 后 找到 全 
局 文 持 合 计数 。 


在 例 12.2 中 ， 假 设 Si 被 指定 为 AB 和 BC 的 轮 询 地 址 ，S; 被 指定 为 CD 的 轮 询 地 址 ， 
定 为 EF 和 GH 的 轮 询 地 址 。 


一 旦 它 收 到 来 自 S 的 
BC.sup=10+10+2=22>15， 所 以 BC 在 地 点 Si 是 全 




















以 引入 一 种 合 


到 了 一 个 指派 函数 ， 假 设 该 函数 为 作 ) 


计数 轮流 检测 的 

















JF X 上 的 哈 








E 何 一 个 地 点 都 是 可 








引用 的 。)， 对 应 于 X 





部 大 的 那些 地 点 是 毫 无 关系 的 ， 对 于 每 一 个 候选 数 











青 求 ， 收 集 局 部 支持 合计 数 ， 计 算 全 局 支持 合计 数 。 




















NZ 








前 校 阶段 〈 包 括 局 部 剪 校 和 全 





~ 














址 为 Si 的 候选 元 ， 并 将 它们 











HEHE Sjo 














求 ， 以 便 收集 支持 合计 数 。 
Si Mos at BOSE AT BL JPA EA 

















据 集 X 
是 否 X 为 全 局 大 的 。 为 了 达到 这 个 目的 ， 对 应 于 X 的 轮 询 地 址 


计数 也 同样 


每 一 个 候选 元 计算 全 





X， 它 的 轮 询 地 
必须 向 所 有 其 它 


因为 对 应 于 每 一 个 候 




















EHE, PTA X 需要 的 合计 数 交 换 信息 数 就 可 以 被 减少 到 O(n) 





局 剪 枝 ) 结束 后 ，FDM 在 每 











LL; 


存储 在 相应 的 集合 

















他 二 
的 原始 地 点 丈 


也 点 的 
然 











K, 














DEA 
































局 大 的 数据 集 。 最 后 ，Si ead S) fü 





Si 负责 进行 AB 和 BC 的 轮流 检测 ， 以 AB ABI, 











收 到 这 个 信 ， 
文 持 合计 数 BC.sup3=2 
局 大 的 。 在 本 例 中 ， 


MES, 












































址 ， 就 避免 了 重复 对 各 地 点 进行 信息 检测 。 


12.5.5 分 布 式 挖掘 关联 规则 的 算法 








在 本 广 中 ， 首 先 


























给 出 FDM 算法 的 基础 版 本 ， 即 FDPM-LP〈 带 局 部 剪 枝 的 FDM) 算法 ， 





它 包含 了 两 项 技术 : 精简 候选 数据 集 和 局 部 六 校 技术 ,根据 性 能 的 分 析 ， 


314 





ww ai bbt. com [1 HB DL O D D] 


它 找到 的 全 





局 大 的 数据 集 





Si 将 轮 询 请 求 送 往 S2 
因为 它 在 S, 和 So 都 是 局 部 大 的 ， 二 元 组 <BC， 
息 以 后 ， 它 将 发 送 一 个 轮 询 请 


RAR 
BE. S 计算 出 
于 引入 了 一 个 轮 询 地 



































FDM-LP 的 效率 大 大 











优 于 CD 算法 。 


算法 12.6  FDM-LP 算法 ， 带 局 部 剪 枝 的 FDM 
输入 : DBi(i=1,.….,n)， 在 地 点 Si 的 分 支 数 据 库 。 
输出; Li 所 有 全 局 大 的 数据 集 。 
步骤: 在 每 一 个 地 点 Si 分 别 反复 执行 以 下 程序 片断 (针对 第 k 次 迭代 ), 一 旦 Law- 或 候选 数据 集 
CG =， 算法 将 终止 。 





















































1.ifk= 1 then 

2. Tia) = get local count(DB;, 2,1) 
3. else { 

4. CGw = Ul, CGiw 


= U"_, Apriori_gen(GLi«.1)); 


Tia) = get_local_count(DB;,CGa,i);} 
For all XE Tia; do 

If X.sup; 2 s*D; then 

forj = 1 to n do 

if polling site(X) = Sj then 
insert <X,X.sup> into LLi jæ; 

10. forj= 1,...,n do send LLi jœ to site Sj; 
11. forj=1,...,ndo { 


SOs (OO DN M 


12. receive LLjiay ; 
13. for all XELLj jag do { 
14. if XeLPia; then 

insert X into LPi% ; 
15. update X.large sites; }} 
16. for all X € LPi% do 
17. send polling request(X); 


18. reply polling request(Tiay); 
19. for all XE LPiw do { 
20. receive X.sup; from the sites S;, 


where S; € X.large sites; 
21. X.sup =È; , X.sup; ; 


22. if X.sup=s*D then 
insert X into Gig; ; } 
23. broadcast Gi% ; 
24. receive Gjœ from all other sites S; , ji); 


25. E (k) = U’ Gio i 
26. divide Lay into GLiw ,(i=1,...,n); 
27. return La) 
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在 算法 FDM-LP 中 ， 每 一 个 $; 最 开始 是 作为 它 所 生成 的 候选 数据 集 的 “宿主 地 点 ”然后 
成 为 了 一 个 轮 询 地 址 来 响应 来 自 








IL 











他 地 点 的 请 求 ， 最 后 ， 它 又 被 转换 成 了 一 个 远程 地 点 用 以 





























给 其 他 轮 询 地 址 提供 局 部 支持 合计 数 。 按 照 每 一 个 Si 在 算法 FDM-LP 中 所 起 的 不 同 作 用 的 那 
些 对 应 的 行 取出 作 专 门 讨论 ， 如 下 所 示 : 


1、 和 宿主 地 点 : 
































生成 候选 数据 集 并 将 它们 提交 给 其 他 地 点 (第 1-10 行 ) 


在 第 一 次 迭代 时 ， 地 点 S; 调用 函数 get local count 来 扫描 分 支 数 据 库 DB; 一遍 ， 并 将 所 
得 到 的 基于 所 有 的 1- 数 据 集 的 局 部 支持 合计 数 存 储 在 数组 Ti co 中。 在 进行 k(k>1) 次 迭代 时 ， 


















































地 点 Si 首先 计算 候选 数据 集 CG ao, 然后 构造 一 棵 包含 CG ao 中 所 有 元 素 的 局 部 支持 合计 数 的 
哈 希 树 Ti qo。 通 过 遍历 Ti oo，Si 便 可 以 找到 所 有 局 部 大 的 k- 数 据 集 ， 并 将 它们 按照 轮 询 地 址 
分 组 ， 最 终 ， 它 将 候选 数据 集 连 同 它们 的 局 部 支持 合计 数 一 并 送 往 其 对 应 的 轮 询 地 址 。 








2、 轮 询 地 址 : 


























接收 候选 数据 集 并 发 送 轮 询 请 求 〈 第 11-17 行 ) 








作为 一 个 轮 询 地 址 ， 地 点 S; 从 其 他 地 点 接收 候选 数据 集 并 将 它们 插入 到 LP; ao 中， 对 于 
LP; go 中 的 每 一 个 候选 元 X，Si 将 它 的 “宿主 ”地 址 存储 在 X.large_sites 中 ， 它 包含 所 有 将 X 
ISTE Si 轮 询 的 那些 地 点 ， 为 了 对 Xx 进行 合计 数 交 换 ，S; 调用 函数 send polling request 来 将 X 
送 往 那 些 不 在 X.large sites 中 的 地 点 以 便 收 集 余 下 的 文 持 合 计数 。 





3、 远 程 地 点 : 
当地 点 Si 


















































向 轮 询 地 点 返回 支持 合计 数 〈 第 18 17) 
从 其 他 地 点 接收 到 轮 询 请 求 ， 它 就 已 经 作为 一 个 远程 地 点 了 。 对 于 每 一 个 从 其 















































他 地 点 接收 到 的 候选 集 Y，Si 从 哈 希 树 Ti qo 中 寻找 Ysupi， 并 将 它 返 回 给 轮 询 地 点 。 


4、 轮 询 地 址 : 


接收 支持 合计 数 并 找到 大 的 数据 集 (第 19-23 47) 








作为 一 个 轮 询 地 址 ，Si 接收 所 有 属于 集合 LPi ao 的 候选 数据 集 的 局 部 支持 合计 数 。 然 后 ， 
它 再 计算 所 有 这 些 候选 元 的 全 局 支持 合计 数 并 找 出 它们 中 间 的 全 局 大 的 数据 集 。 这 些 全 局 大 
的 k- 数 据 集 将 被 存储 在 集合 Giao 中 ， 最 后 ，Si 将 集合 Giao 向 所 有 其 它 地 点 广播 。 











5. fü dh 
作为 一 个 


ado G=1,...,.n) 
































接收 大 的 数据 集 (第 24-27 11) 
“宿主 ”地 点 ，Si 接收 所 有 来 自 其 他 地 点 的 全 局 大 的 k- 数 据 集 Gi qb， 经 过 对 Gi 
作 并 集运 算 ，S; 便 可 以 得 到 所 有 大 小 为 k 的 大 数据 集 所 组 成 的 集合 Li。 更 进 一 

































































步 的 操作 是 : 利用 X.large_sites 中 的 地 点 列表 ，S; 便 可 以 从 Ly 中 得 到 对 应 于 每 一 个 地 点 的 全 
局 大 数据 集 GLi sb， 而 GLi ao 将 在 下 一 次 迭代 时 用 于 候选 数据 集 的 生成 。 



























































在 以 下 的 讨论 中 ,通过 应 用 两 种 不 同 的 全 局 前 校 技术 ,给 出 了 FDM-LP 算法 的 两 种 更 精炼 


的 版 本 。 

















~ 


算法 12.7 FDM-LUP: 带 有 局 部 和 上 界 剪 枝 的 FDM 算法 。 








方法 : FDM-LUP 算法 的 主 程序 是 在 算法 FDM-LP 的 第 7 行 后 加 入 如 下 条 件 (第 7.1 行 ) 得 到 


的 。 











7.1 if g upper bound(X)>s*D then 


FDM-LUP 算法 的 唯一 一 个 更 新 是 加 入 了 上 界 剪 枝 〈 第 7.1 47). PRL g_upper_bound 为 每 
一 个 候选 数据 集 X 计算 上 界 。 换 名 话说，g upper bound 以 如 下 公式 给 出 X 的 上 界 : 



































X.supi 之 maxsupj (X) 
j=l,jżi 











X. sup; 4 

















E 局 部 剪 枝 阶 段 就 已 经 计算 过 ， 而 且 maxsup; (X) G=l,...nj4d 的 数值 可 以 在 











k-1 次 迭代 结束 后 得 到 的 局 部 支持 合计 数 计算 出 。 如 果 得 出 的 上 界 要 小 于 全 局 的 最 小 支持 度 ， 
那么 它 就 可 用 来 对 X 进行 剪 枝 。FDM-LUP 算法 与 FDM-LP 算法 比较 起 来 ,通常 得 到 的 候选 
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元 数量 比较 小 。 
算法 12.8 FDM-LPP: 带 有 局 部 和 轮 询 地 址 剪 校 的 FEFDM 算法 。 
方法 : FDM-LUP 算法 的 主 程序 是 将 算法 FDM-LP 的 第 17 行 替换 为 如 下 两 行 得 到 的 。 


16.1 ifp upper bound(X)2s*D then 


















































17 end polling request(X); 


FDM-LPP 算法 中 加 入 的 一 个 新 步骤 是 轮 询 地 址 剪 枝 (第 16.1 行 )， 在 该 阶段 ， 是 一 个 轮 询 
地 址 ，Si 接收 来 自 其 它 地 点 的 请 求 ， 并 且 进 行 轮 询 。 每 一 个 请 求 包含 一 个 局 部 大 的 数据 集 X 
和 它 的 局 部 支持 合计 数 X.supp S 是 那些 向 Si 发 送 数据 集 X 的 地 点 , 注意 到 X.large_sites 是 将 
包含 x 的 轮 询 请 求 发 往 轮 询 地 址 的 那些 源 地 址 的 集合 〈 见 第 15 行 )。 对 于 每 一 个 地 点 
SieX.large_sites ， 它 的 局 部 支持 合计 数 X.supij 已 经 被 送 往 地 点 Si。 对 于 每 一 个 地 点 
S,¢X.large_sites, DJ X 在 Sa 不 是 局 部 大 的 ， 它 的 局 部 支持 合计 数 X.supd 必定 小 于 局 部 最 小 
文 持 度 s*Dqo X.sup, 应 该 小 于 或 等 于 min(maxsup,(X),s*D,-1). ATLA, X.sup 的 上 界 可 以 由 下 
式 计算 出 : 

























































































X.sup,-* > min(max sup, (X), * D, —1) 
jeX.large Sites q-lqzX.large sites 
在 FDM-LPP 算法 中 ，Si 调用 p upper bound 函数 利用 以 上 公式 来 为 X.sup 计算 出 一 个 上 
界 。 这 个 上 界 在 小 于 全 局 支持 合计 数 时 被 用 来 对 X 剪 枝 。 
正如 以 前 讨论 的 那样 ， FDM-LUP 和 FDM-LPP 算法 都 可 能 得 到 比 FDM-LP 算法 小 的 候选 
数据 集 。 但是， 它们 需要 对 局 部 支持 合计 数 准 备 更 多 的 存储 空间 和 交换 信息 。 它 们 相对 于 
FDM-LP 算法 的 效率 主要 取决 于 数据 的 分 布 性 。 





























































































































12.6 词性 标注 规则 的 挖掘 算法 与 应 用 


12.6.1 汉语 词性 标注 























汉语 词性 自动 标注 问题 是 中 文 信息 处 理 领域 的 基础 性 研究 课题 。 它 是 进一步 进行 汉语 名 
法 分 析 的 前 提 ， 也 可 用 于 信息 检索 领域 ， 因 此 ， 其 研究 具有 非常 重要 的 意义 。 从 目前 的 研究 
上 看 ， 基 本 上 采用 了 基于 概率 统计 和 基于 规则 两 种 技术 路 线 。 其 中 ，CLAWS 算法 是 基于 概率 
统计 的 方法 [Leech 94]。 有 具体 做 法 是 : 首先 对 部 分 英文 语 料 手工 标注 词性 标记 ， 然 后 对 标注 好 
的 语 料 进 行 统计 ， 得 到 标记 与 标记 同 现 的 频率 ， 最 终 产 生 一 个 同 现 概率 矩阵 。 在 词性 标注 时 ， 
先 取 一 个 两 端 为 非 兼 类 词 而 中 间 为 若干 兼 类 词 的 片断 (SPAN). 在 SPAN P, 词 对 应 的 词性 标 
记 的 组 合 可 以 被 视 为 多 条 路 径 。 根 据 概率 矩阵 计算 每 条 路 径 的 概率 ， 并 选择 概率 最 大 的 路 径 
上 的 词性 标记 作为 兼 类 词 的 标记 ， 从 而 实现 了 对 兼 类 词 的 标注 。 

对 于 汉语 词性 标注 问题 采用 了 CLAWS 算法 的 思想 , 同时 结合 了 每 个 词 的 各 个 词性 标记 具 
有 不 同 概率 的 特点 ， 可 以 取得 较 好 的 标注 效果 。 这 种 统计 方法 在 训练 语 料 规模 足够 大 的 情况 
下 《所 要 求 的 训练 集 规模 应 该 与 词性 标记 集 的 大 小 有 关 )， 限 于 计算 量 成 指数 增长 ， 一 般 采 用 
bi-gram【〔 二 元 语法 ， 即 仅 计算 相 邻 标记 的 概率 )， 这 使 其 正确 率 受 到 一 定 的 影响 。 基 于 规则 的 
方法 通过 考虑 上 下 文中 的 词 及 标记 对 兼 类 词 的 影响 决定 兼 类 词 的 词性 ， 常 常 作为 基于 概率 统 
计 方 法 的 补充 。 将 统计 方法 和 规则 方法 相 结 合 被 认为 是 解决 词性 标注 问题 的 最 佳 手段 [ 李 晓 歼 
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00 


应 
况 
pe 
地 


nj Je AE ER 
司 性 的 判断 方法 是 一 致 的 
司 的 词性 。 在 统计 语 料 规模 较 大 | 


Je 


HAT, XU FEE AS ASE Ae 
围 上 看 ， 乱 人 工 的 方法 只 可 能 产生 








FAY 














— IHG HE 


— FN 





集成 。 但 这 存在 以 下 两 个 方面 的 问题 。 





一 是 从 规则 的 








PERU, ANT 














f 
^E XL] Fr EE G6 
获取 规则 是 实 
MALO 












































个 性 规则 。 而 个 性 规则 尽管 应 ) 
上 率 有 待 验 证 。 因 此 ， 在 统计 方法 正确 
现 汉 语词 性 标注 中 的 关键 问题 。 

Fk 注 好 的 汉语 文本 语 料 中 ， 利 用 文本 挖 抉 来 研究 词 及 词性 的 模式 序列 对 词性 


f 意 的 研究 ， 这 在 国 。 可 以 认为 这 与 人 在 根据 上 下 文 对 

















J] 能 产生 数量 较 多 的 针对 个 别 情 























范围 小 ， 但 也 是 保证 1 








EW 











和 率 的 重要 手段 。 二 是 人 工 方法 
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小 支持 度 常 

















， 即 不 但 











j 模 式 集 ， 然 后 生成 关联 规则 。 而 





生 规 则 。 只 要 最 小 可 信 度 定义 上 


内 外 尚未 见 到 有 关 报 
根据 上 下 文中 的 词性 、 
































率 不 易 再 


提高 的 前 提 下 ， 能 否 自动 高 效 





dade 


AB 

















词 而 且 可 根据 二 者 的 组 合 来 判断 某 


Het 











的 
































的 情况 下 ， 给 定 最 小 支持 度 及 最 小 可 信 度 后 ， 首 先 挖掘 大 于 








的 足够 高 ， 获 得 


若 此 规 贝 

















得 


由 














的 规则 能 够 真正 作为 概率 方法 的 补充 ， 从 而 
1 的 条 件 依赖 于 词 与 词性 的 各 种 组 合 ， 


一 般 在 数据 库 中 的 数据 挖掘 过 程 复杂 得 多 。 





12.6.2 问题 的 描述 


UE 


在 


如 
点 


模式 X 的 支持 度 ， 它 反映 了 该 模式 在 同 长 度 模式 中 所 占 的 比例 。 


为 了 在 文本 数据 中 挖掘 词性 标注 规则 ， 先 给 出 如 下 
Æ DICT={WORD;|i=1,2,..., n} ， 词 性 
中 WORDi、TAGi 分 别 为 某 个 汉语 词 或 词 仅 


定义 12.8 词 
I-DICTU TSET, 
































标 i 





| 的 可 信和 度 大 于 最 小 可 信和 度 ， 则 得 至 
的 规则 就 可 以 用 于 处 理 兼 类 词 的 情况 。 这 样 
较 好 地 解决 汉语 词性 标注 问题 。 但 | 
同时 又 在 文本 数据 中 进行 挖掘 ， 这 使 得 其 挖掘 过 程 








| 



































于 这 种 























的 定义 。 
记 集 TSET={TAG;|i=1,2,...m}, Ji 
FE 标记 。 


定义 12.9 已 标记 的 文本 T={( WORD, TAG) | WORD;EDICT, TAGIETSET, TAG: 是 词 WORD; 


该 标 
定义 12.10 训练 集 E={(ev e 





: {(( 试 析 , VGN ) 
,NG) C3, CW), (难点 ,NG))， 





»* 


定义 12. 11 模式 集 D={dlde 





记 文本 中 对 应 的 词 怕 
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n 


标记 } 。 例 如 : {《〈 试 析 , VG 


ex) |ei ET， 是 在 文本 
= ee K, KEN}. iR N 为 自然 数 集合 ; 8 


) ，( 科 技 , NG) 


SPP 


























RA E 








, (BEBE, NG), CH FR NG), Ce 
CCS 3C, NG), (试图 


























T), XIRI 

















定义 12.12 27 XED, 











定义 12.1345X € D,F = (Y | Y € D, HLEN(X) = LEN(Y)},UX.SUP = 








存在 句子 SENTENCE=eies. . . eo 





中 的 每 个 元 素 为 一 个 已 标记 的 句子 。 例 
ill, NG), CO 
VG), Gs FH, VGN), (统计 ,NG), (热力 


rh 
F^ 


NG), CI] , USDE), (2 








词 与 词性 标记 组 合 构成 的 串 。 
其 长 度 LEN(CO <K， 则 模式 X 为 人 模式 。 





frea( X) y 
total(F) 

















HH, freq CD 表示 模式 X 


出 现 的 频率 ;7ota7(F) 表 示 长 度 为 LEN(X) 的 模式 出 现 的 总 频率 。 


为 


(X=Y).CON 定义 为 PROB(Y/X) = 

















定义 12.14 4 MINSUP Jg 














Ay, 

















"m 











| FFE 3E. nfi C={X|XED, X. SUPZMINSUP) 称 
模式 集 。 集 合 中 的 元 素 称 为 大 模式 。 


定义 1245 若 X,Y 为 大 模式 ， 则 X,Y 之 间 的 关联 , 记 为 规则 X=>Y， 该 规则 的 可 信和 度 
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freq(XY) 


freq(X) 
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， 该 规则 的 支持 度 定义 为 XUY).SUP。 














它 表 示 了 在 模式 集 D 中 ,包含 X 的 模式 
Y 同 现 的 频率 。 

定义 12. 16 令 MINCON 为 用 户 规定 的 最 小 可 信 度 
是 值得 该 用 户 信赖 的 产生 式 规则 。 

定义 12.17 k 模式 [= aa 
规则 形式 为 : 


a we 
定义 12.18 Ke 是 一 个 给 定 正 数 ， 且 s >MINSUP。 
若 规 则 X=>Y 的 支持 度 MINSUP< (XUY). SUPX& e ， 则 该 规则 为 个 性 
若 规则 X=>Y 是 个 性 规则 ， 且 (X Y). CON>MINCON， 则 该 规则 为 个 
若 规则 X9 Y 的 支持 度 (XUY). SUP>g ， 则 该 规则 为 共性 规则 。 
若 规则 X=>Y 为 共性 


12.6.3 挖掘 算法 


词性 标注 规则 的 欣 气 任务 可 以 视 为 : 给 定 
词 的 词性 的 影响 , 求 出 所 有 满足 最 小 支持 度 和 最 
性 可 靠 规则 。 

该 问题 可 以 分 解 为 两 个 子 问题 : 一 是 求 出 T 中 满足 最 小 支持 度 的 常 






































aiaEl, JF H. 

























































































小 可 信 度 的 产生 式 规则 ， 





zm 











第 二 个 


a, € TSET, a, Jé ii] k 的 词性 


AS > (tlk, ai)。 它 表明 若 前 k-1 个 词 、 标 记 构 成 的 模式 等 于 aaaz…akl， 则 第 


规则 , FL (XY) . CON2MINCON， 则 该 规则 为 共性 可 靠 规则 。 


有 多 少 同时 包含 了 Y， 其 中 freq(XY) 表示 模式 X. 


若 (X= 二»Y) .CON 三 MINCON， 则 规则 XY 





标记 ， 则 采取 的 





规则 。 
性 可 徘 规则 。 





定 训练 集 E， 根 据 E 中 的 WORD 和 TAG 两 层 结构 对 
即 个 性 可 靠 规 则 和 




















^ 


用 模式 集 ， 二 是 利用 

















常用 模式 集 生成 满足 最 小 可 信 度 的 关联 规则 。 








个 问题 的 解决 较为 简单 








， 对 每 个 常用 











可 接 归 定义 12.17 的 形式 构造 规则 《还 可 有 有 其 它 形式 ， 但 不 在 此 中 讨论 























ie). WR (aa 





模式 ， 


“ak 一 























ax). CON». MINCON， 则 将 其 加 入 规则 集 。 关 键 技术 是 如 何 高 效 地 求 出 党 
容易 知道 ， 与 数据 库 中 的 数据 挖掘 不 同 ， 
数 ( 仅 i 模式) 为 2。 即 随 模 式 长 度 的 1 


























] 模 式 集 。 
一 个 句子 中 长 为 i 的 子 串 中 ， 词 与 词性 的 组 合 
赠 加 ， 该 长 度 模 式 的 总 数 total 剧 增 ， 





所 以 最 小 支持 度 











不 应 该 是 一 成 不 变 的 。 它 们 应 随 模式 长 度 的 增 
但 对 最 小 可 信和 度 的 要 求 不 但 不 因 模 式 长 度 的 增 


加 而 减少 ， 
加 而 减少 ， 





























因而 定义 支持 度 RE 
而 且 由 于 长 模式 适用 范围 


penises 
较 小 ， 必 























须 保 证 其 可 信 度 比 短 模式 的 可 信 度 高 ， 否 则 

















将 得 不 偿 失 ， mm: TA BO BORA RE fi. 





























于 挖 据 工 作 是 在 文本 数据 中 进行 ， 因 此 , 为 了 提高 























设 最 小 支持 度 向 量 minsup[]={aiaz…as} ， 最 小 可 信 度 at *& minconf [] 














- (bi b». bi) , total [i] 








表示 i 模式 总 数 〈 初 值 为 0)，MaxPatternSize=W 表示 用 户 规定 的 最 长 模式 大 小 ， 
n. count 存放 该 模式 出 现 的 次 数 ，CandPatternSet 表示 候选 模式 集 ( 初 





一 个 模式 并 且 patter 



































pattern 为 




















值 为 空 集 {} )，largePatternSet={} 表示 最 终 形成 的 大 模式 集 ( 初 值 为 空 集 {} )， 训 练 集 为 
E- ( (ei, €2,..., €x) le; €T, i-1, Dil ks 则 挖掘 算法 可 描 述 为 : 
算法 12.9 词性 标注 规则 的 挖掘 算法 。 
l. d E-9; 则 转 STEP7。 
2. Wer, ex ...,er) EE, Mather Lal, Ec-E-((e, es ..., ex) }. 
3. di K-L+1=0 ， 则 表示 (eu es, . .. ,en 已 处 理 完毕 ， 转 STEPI. 
4. dE K-L+1>W 则 取 (WORDT TAG). ...... (WORD, wi, TAGr+w-1)> LEN — W, 
否则 取 (WORD,, TAG1)、......、 (WORDk, TAGK), LEN<—K-L+1。 





e 


循环 j-2 TO LEN 执行 
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构成 包含 (WORDL, TAGO 的 长 度 j 的 模式 串 pattern, 
pattern. count < pattern. counttl, 
CandPatternSet < CandPatternSetU {pattern}, 
Total[j] <total[j]+l. 
L«—L*1, 44 STEP3, 
4; CandPatternSet = 中 ， 则 转 STEP11. 
取 pattern€CandPatternSet, CandPatternSet < CandPatternSet- [pattern]. 
4; pattern. count/total[i]^minsupli] 
则 LargePatternSet < LargePatternSet U {pattern} 
10. 转 STEP7. 
11. Zi LargePatternSet= 中 ， 则 算法 结束 。 
12. HX pattern= aitazt…akrELargePatternSet， 


© WO AD 





LargePatternSet «— LargePatternSet —{pattern}. 
13. di a.€Tag and (aiazttakı=> ax). CON>MINCON[K], J 
将 规则 “if aima GR] k, ao 加 入 规则 库 ， 
14， 转 STEP11。 


算法 的 前 6 步 是 获取 训练 集 E 中 每 个 例子 的 各 长 度 的 模式 , 并 放 入 候选 模式 集 
CandPatternSet。7 至 10 步 计算 大 模式 集 LargePatternSet. 11 步 到 14 步 从 大 模式 集中 产生 
规则 并 加 入 到 规则 库 。 
在 规则 库 产生 后 ， 先 按 规 则 长 度 从 大 到 小 的 顺序 排序 ， 以 便 在 应 用 规则 时 利用 较 多 的 上 
下 文 信息 ， 提 高 词性 排 玻 的 准确 率 。 对 同 长 度 的 规则 ， 按 支持 度 从 大 到 小 的 顺序 排列 ， 使 共 
性 规则 排 在 前 面 ， 从 而 提高 规则 的 匹配 效率 。 
为 提高 标注 正确 率 ， 将 统计 方法 与 规则 方法 相 结合 。 对 于 兼 类 词 的 标注 ， 先 看 能 和 否 用 规 
则 处 理 。 若 能 则 直接 标注 词性 ， 从 而 利用 了 规则 方法 的 高 效 性 和 高 准确 率 。 否 则 再 利用 概率 
统计 方法 标注 。 其 标注 过 程 如 下 述 算法 所 示 : 
算法 12. 10 统计 方法 与 规则 方法 相 结 合算 法 。 


1. 对 待 标注 的 文本 (已 分 词 )， 首 先 查 非 兼 类 词典 和 兼 类 词典 标 上 所 有 可 能 的 词性 。 
2. 取 片 断 SECTION (注意 与 CLAWS 算法 的 SPAN 不 同 )。 它 包括 了 一 个 兼 类 词 序列 以 及 序 
列 前 的 若干 非 兼 类 词 与 序列 后 的 一 个 非 兼 类 词 ， 如 下 图 所 示 : 
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T 

































































Word, Word, Word; .... Wordi. Word; Wordin ...... Word; Word; 
Tagi Tag» Tag3 ust Tagi; Tagi,  Tagiai ...... Tag; Tagj+1 
Tagio Tagisi2  ... Tagi» 
Tagi3 Tagj3 















































其 中 Wordis Wordia. ...... Word; 为 兼 类 词 ， 其 余 词 为 非 兼 类 词 。 并 且 考 虑 到 用 户 规定 的 
最 大 模式 长 度 为 w， 所 以 最 多 上 只 取 第 一 个 兼 类 此 前 的 w-1 个 非 兼 类 词 GS w)。 
3. 若 不 存在 SECTION， 则 算法 结束 。 
4. Lel. 
5. JAQORD, TAG). ...... 、《WORDi1, TAG.) 中 构造 模式 ， 并 用 之 匹配 规则 。 

若 匹配 成 功 ， 则 按 规 则 给 Word; 标注 词性 Tag ;，。 此 时 认为 Word; 已 是 非 兼 类 词 。 

转 STEP2， 重 新 选取 SECTION. 
6， 若 L<i-1 则 L<-L+1， 转 STEP5。 
7. 取 有 两 个 非 兼 类 词 所 夹 将 类 词 序 列 作 为 SPAN， 如 下 图 所 示 : 
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Wordi Word; Wordi .... Word; Wordj+1 
Tagi-1 Tagil  Tagiiji ..... Tag;;  Tagjn 
Tagi2 Tagima —.... Tagi» 
Tagi3 Tagi3 
计算 由 词性 标记 组 成 的 各 路 径 的 概率 。 按 最 大 路 径 中 的 标记 给 Word; 
词性 。 





8. & 2。 


及 规则 。 








由 于 新 


Ab, 挖 据 系统 具有 一 定 的 开 
看 料 加 入 后 ， 原 来 的 





放 性 





I.» Ay 


新 语 料 加 入 后 可 随时 进行 累计 挖 据 ， 以 生成 





costes Word; 标注 





[的 模式 

















HUU mJ f 








支持 度 或 可 信和 度 低 而 被 修 
规则 进行 有 效 的 管理 











BBY 


E, COA AHI, 


12.6.4 试验 结果 


由 于 一 模式 中 未 利用 上 下 文 信 

二 模式 表示 前 
时 可 信 度 大 于 0.7 的 6659 条 模式 中 , 有 6638 条 说 明 前 一 词 对 当前 词 的 词性 的 
司 性 的 影响 。 仅 可 信 度 为 100% 的 规则 就 有 5183 条 (可 信和 度 小 于 100% 
可 信 度 ) ， 下 面 仅 举 几 例 。 
分 之 MX; 炼 成 NG; 即刻 VGO; XEF VG; 久而久之 D; 乘机 VG0; 





于 0. 
而 剩余 的 21 条 是 受 前 一 i 
的 模式 在 括号 中 列 H 
前 一 词 影 响 的 如 : 
NG; 4 
响 的 如 : USSU VG. USSING, VNF NG, HM MX (0.974), NPFF NPFS (0. 905). 
NG (0. 711) . 


K A; 


词性 
库 语 法 标记 》(1991 年 6 
在 二 十 一 万 词 的 人 工 
括 二 十 万 语 料 ; 
词性 规则 的 挖掘 算法 ， 
组 合 对 当 
分 别 以 各 长 度 的 模式 进行 


利 
出 词 或 i 
规则 的 可 靠 程 度 。 








标记 集 以 《 八 五 ”汉语 语料库 的 词 忆 

















的 模式 可 能 变 成 最 终 的 规则 ， 


E 因 降低 可 信和 度 和 支持 度 而 失效 ， 而 一 些 原来 因 
因而 ， 必 须 用 规则 库 的 管理 模块 对 





FE 标 记 集 》 
调整 而 成 。 








第 三 稿 ) 为 基础 经 部 分 












































性 及 





HJ 




















模式 表示 8 











单个 词 或 词 牧 
VG (7898)、 的 (6900)、USDE (6742 


己 标 注 词性 语 料 
测试 集 含 一 万 语 料 。 
分 别 对 各 长 度 的 模式 进行 挖掘 。 从 挖掘 出 的 规则 中 ， 可 以 看 


前 词 的 词性 的 影响 。 同 时 支持 度 表示 规则 的 适用 














的 基础 上 ， 将 








a 





说 明 。 
中 














生 的 出 现 次 数 。 

















Fl 


息 ， 因 而 不 构成 规则 。 


修改 规则 的 可 信和 度 和 支持 度 ) 


划分 为 训练 集 和 测试 集 。 

















1990 年 6 月 第 二 稿 ) 与 《汉语 语 料 


训练 集 包 

















可 信 度 表示 





F]; 








yu. 


出 现 次 数 前 十 位 的 为 :NG(34534)、VGN(8340)、 
)、D (4934), A (4378), MX (3870)、RN (3260)、P (2992). 














x 


受 
VGA A (0.828). HN NG (0.8), MF MX(0727), B 


获取 的 标注 规则 为 : 





05 同 








EY 
uz 


前 一 词性 


t NG; 文职 


"Ez 
AA HH 








^u 


if COLL 


EH 











词 或 前 





EAS 


词性 对 当前 词 的 词性 




















a”) then (id 2, NO) ， 它 表示 若 前 一 词 为 


副 NG 





占 NPL; 阻击 NG. 











my 


“ 副 “， 则 后 一 词 的 标记 


E 意 到 ， 在 所 获得 文 持 度 大 





影响 ， 


IR^ 





为 名 词 。 




















三 模式 表示 


前 二 词 或 词性 


n 


的 组 合 对 当 








前 词 的 词性 的 影响 。 


可 以 注意 到 ， 


在 所 获得 文 持 度 





AF 0. 005 同时 可 信 度 大 于 0.7 的 81921 条 模式 中 , 仪 可 信 度 为 1008 UU 80647 条 。 下 





面 仅 举 儿 例 。 


VA、 


如 : 
个 体 工商 








A MF MX, fy 固有 NG. MX QNI NPU, X 
NG, NPL 至 NPL. fis 


NG #& NG、 主任 NPFF NPFS, T 到 T、T 占领 NPL. SRNMG, QNI A NG、 这 QNG NG (0.958), 


新 华 
MX MW. NG Mk NOV, 





RN 级 NG (0.9525. VGJ VGN NG (0.929). 





SUM bo 


限于 篇 幅 ,， 四、 五 、 六 模式 各 举 三 例 说 明 。 四 模式 有 : 可 观 USDE 经 济 





主 规则 为 : 


if (词性 1,T) AND GĦ 2, 
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ik NPLT. A 物理 
NG RKI 








ENG. TA 不 
BR A、 上 级 主管 NG、 














^ij") then ( 词 3, NPL) 


NG、 领 取 营业 NG 

















FS. RN 已 经 VGV VGN; 五 模式 有 : P 通过 试验 NG VG. FS NGUSDED FS, NG 以 来 被 NG VGN; 
六 模式 有 : RN 以 NPU 运河 VI. NG P NPL S dE vGO, P NG 上 克服 了 NG. 


经 过 对 不 同 长 度 模式 的 比较 可 以 清楚 地 看 出 : 词 在 模式 


























NPFS 的 可 信 度 为 (0. 905), 而 在 三 模式 中 , 3 

















的 限制 作用 。 在 二 模式 中 NPFF 














E 任 NPFF NPFS. 政委 NPFF NPFS、 管理 员 NPFF NPFS 











的 可 信 度 均 为 100%。 这 显然 是 用 了 较 多 的 上 下 文 关系 的 缘故 。 注 : NPFF 表示 姓氏 ，NPFS 表示 


人 名 。 
从 试验 数据 上 可 以 看 出 : 








增加 。 模 式 的 文 持 度 要 减低 。 但 由 了 












































随 长 度 的 增加 ， 每 种 模式 的 组 合 可 能 性 增多 ， 模 式 的 绝对 数量 
受到 较 多 的 上 下 文 的 限制 ， 一 般 可 信 度 反而 会 增加 。 例 
如 四 模式 共 394744 个 可 信 度 为 一 的 有 275083 个 。 比 例 很 高 ， 即 说 明 受 到 较 多 的 制约 后 ， 词 
性 被 唯一 确定 的 可 能 性 增加 了 。 








不 难看 出 : 模式 中 词 对 词性 的 影响 更 大 ， 即 词 作 为 上 下 文 因素 之 一 ， 较 词性 具有 更 精确 


















































的 限制 作用 《〈 强 限制 )。 这 是 因为 ， 一 个 词性 对 应 的 词 数 远 远 多 于 一 个 词 对 应 的 词性 个 数 。 用 








词性 做 制约 对 应 的 上 下 文 情况 更 多 ， 不 利于 对 如 
持 度 要 更 小 一 些 ， 获 得 的 规则 更 倾向 于 个 性 规则 。 



































类 词 进行 排 





区 。 但 一 般 说 来 含 词 的 模式 的 文 

















从 模式 到 规则 可 以 有 多 种 方式 ， 只 讨论 由 前 面 的 词 或 词性 来 确定 最 后 一 词 的 词性 的 情况 ， 
即 前 制约 的 情况 。 上 下 文 制约 规则 同样 可 以 取得 。 


























为 了 进行 试验 比较 ， 先 用 纯 统 计 
后 ， 在 获得 标注 规则 的 基础 上 ， 通 


















































96.2%。 优 于 现 有 的 词性 标注 系统 。 








根据 汉语 的 特点 ， 采 用 数据 挖 气 方 法 对 汉 i 


是 一 种 从 语料库 中 以 规则 的 形式 获取 知识 的 新 方式 ， 较 适 ) 



























































方法 对 一 万 测试 语 料 进行 标注 测试 ， 准 确 性 达 91.8%。 之 
过 统计 方法 与 规则 方法 的 结合 算法 进行 标注 ， 正 确 率 达到 



























































在 词性 规则 的 自动 获取 进行 了 有 益 的 尝试 。 这 




















于 大 规模 语料库 的 特点 。 在 概率 




















统计 方法 的 基础 上 ， 将 所 获得 的 规则 应 用 于 词性 标注 ， 会 提高 标注 的 准确 率 。 


























附录 : 本 节 中 用 到 的 一 些 词性 标记 及 含义 











(参见 “ 八 五 ”汉语 语料库 的 词性 标记 集 ，1990 年 6 月 第 二 稿 ) 
D 副词 FS 单纯 方位 词 ”HM 数 词 前 级 











A 形容 词 B 区 别 词 
HN 名 词 前 级 ^ MF 分 数 词 ”MG HEBR] MW 位 数 词 
P 介词 NG 普通 名 词 NPFF 姓氏 NPFS 人 名 




















NPU 机 构 和 组 织 名 QNG 名 量词 QNI 
USDE 结构 助词 “的 ” USSU 结构 助词 “所 ” 
VG 一 般 动词 VGA 动词 (站 
VGV (带动 词 宾语 ) VI 系 动词 








习题 























MX 系数 词 
NPL 处 所 名 词 


个 体 量词 s 处 所 词 T 时 间 词 
USSI 结构 助词 “ 似 的 ” vA ”助动词 
形容 词 宾语 ) VGN( 带 名 词 宾语 ) VGJ( 带 兼 语 宾语 ) 

















1. 举例 说 明 什 么 是 支持 度 、 可 信和 度 、 最 小 支持 度 、 最 小 可 信 度 和 大 项 集 。 























2. 下 表 给 出 4 个 事务 ， 最 小 文 持 度 为 60%， 请 找 出 1 项 频繁 项 集 。 
TID | Date Items_bought 
1 01/05/2005 I1, I2, 14, I6 
2 02/05/2005 I1, I2, I3, I4, I5 
3 03/05/2005 I1, I2, I3, I5 
4 04/05/2005 I1, I2, I4 
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Ov wee 


8. 


试 述 经 典 的 Apriori 算法 。 
试 述 基于 分 布 式 系统 的 关联 规则 挖掘 算法 。 
什么 是 正 相 关 ， 什 么 是 负 相关 ， 举 例 说 明 强 关联 规则 是 负 相 关 的 情况 。 








ERI 





























简 述 如 何 有 效 的 挖掘 如 下 规则 ,“ 一 件 免费 商品 可 能 触发 在 同一 事务 中 200 元 的 总 购物 ” 

《约定 每 种 商品 的 价格 是 非 负 的 )。 

下 表 包 括 9 个 事务 。 假 设 最 小 支持 度 为 20%， 请 给 出 频繁 项 集 。 
表 事务 项 表 


[rip |tems | 


1 11,12,15 















































如 何 进行 增 量 式 关 联 规则 挖掘 ? 
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知识 发 现 是 
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第 十 三 章 知识 发 现 


13.1 概述 
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抽取 和 精 化 新 的 模式 。 知识 发 现 的 范围 
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象 、 声 音 等 。 














知识 发 现 的 结果 可 以 表示 成 各 种 形式 , 包括 
目前 ， 关 系 








规则 、 法 则 、 科 学 规 得 




















可 以 是 经 济 、 


据 。 数 据 的 形态 有 数字 、 
数据 组 织 方式 也 各 不 相同 ,可 以 是 有 结构 、 半 结构 、 非 结构 的 。 
E. Jp fes M 
































型 数据 库 应 用 广泛 ， 并 且 具 有 统一 的 组 织 结构 ， 一 体 化 
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Databases, KDD) 的 研究 非 
中 识别 出 有 效 的 、 新 颖 的 、 湾 在 有 月 

















具有 平等 性 科 








因此 ， 数 据 库 知 识 发 现 〈Know] 


ledge 
术语 于 1989 年 出 现 ，Fayyad 定义 为 “KK 
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KDD 中 通常 指 多 


该 过 程 要 求 是 非 平凡 的 ， 


E 
FE”、“ 新 颖 性 ””“ 潜 在 有 用 性 ”和 “最 终 可 型 
中 的 记录 )。 模 式 是 一 个 月 
Fey 作为 一 个 模式 要 求 它 比 对 数据 子 集 产 的 枚 举 要 简单 〈 所 | 











的 定义 中 , 涉及 几 个 需要 进 








步 解 释 的 
E 解 性 ”。 数据 集 是 一 组 
语言 L 来 表示 的 一 个 表达 式 E， 它 可 用 来 
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阶段 的 一 个 过 程 ， 


























意思 是 要 有 一 定 程 度 的 智能 性 、 自 动 怕 
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解 的 模式 的 非 平凡 过 程 ” 
m: “BSE”. BIS”. 
HE FR 
述 数据 集 F 的 某 个 子 自 
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要 少 


评价 ， 以 及 反复 的 修改 求 精 ; 
E 《仅仅 给 出 所 有 数据 的 总 和 
个 发 现 过 程 )。 有 效 性 是 指 发 现 的 模式 对 于 新 的 数据 仍 保持 有 一 定 的 可 信 度 。 
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新 颖 性 要 求 发 : 
决策 文 持 系统 里 可 提高 经 济 效 益 。 





岗 的 模式 应 该 是 新 的 。 潜 在 有 





用 性 是 指 发 现 的 知识 将 来 有 实际 效 ) 





J, MAS 









































最 终 可 理解 性 要 求 发 现 的 模式 能 被 用 户 到 











是 体现 在 简洁 怕 
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多 不 同 的 术语 名 称 。 



































上。 有 效 性 、 新 颖 性 、 湾 在 有 用 性 和 最 终 可 到 
于 知识 发 现 是 一 门 受到 来 自 各 种 不 同 领域 的 研究 者 关注 的 交叉 性 学 科 ， 
除了 KDD 称呼 外 , 主要 还 有 如 下 若干 种 称 法 :“ 数 据 挖 据 ”( 
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" (intelligent data analysis), “探索 式 数据 分 析 ”(explora 
“信息 收获 ”(information harvesting) 和 “数据 考古 ”(data arche 
的 术语 是 “知识 发 现 ” 和 “数据 挖 提 
b 现 于 统计 文献 
器 学 习 界 。 
知识 发 现 过 程 可 粗略 地 到 


ology) 
































P)、 数 据 分 析 、 数 据 库 和 管理 信息 系统 界 ， 而 知识 发 现 则 了 
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据 准 备 〈data preparation), Zi] 





轴 ”。 相 对 来 讲 ， 数 据 挖掘 主要 流行 于 统计 界 〈 最 早 


FE 要 流行 





tory data analysis), 
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terpretation and evaluation) (Ji, Él 13.1). 
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为 离 


纳 ) 等 。 当 数据 开采 的 对 象 是 数据 仓库 时 ， 一 般 来 说 ， 数 据 预 处 理 


















































1.1. 数据 准备 






































13.1 


AUD MATEN AL 














数据 准备 又 可 分 为 三 个 子 步骤 : 数据 选取 (data selection). 数据 预 处 理 (data preprocessing) 





1 数据 变换 (data transformation )。 数 据 选取 的 目的 是 胡 
(target data)， 它 是 根据 用 户 的 需要 从 原始 数据 库 中 二 


括 消除 噪声 、 推 导 计 算 缺 值 数据 、 消 除 重复 记录 、 完 成 数据 类 型 转换 (如 把 连续 值 数据 转换 



























































EH 
oL. 





散 型 的 数据 ， 以 





于 符号 归纳 ， 或 是 把 离散 型 的 转换 为 连续 值 型 的 ， 以 便 











上 定 发 现任 务 的 操作 对 象 ， 即 目标 数据 
取 的 一 组 数据 。 数 据 预 处 理 











般 可 能 包 












































神经 网 络 归 




















己 经 在 生成 数据 仓库 时 完 














成 了 。 数 据 变换 的 主要 目的 是 消减 数据 维 数 或 降 维 〈dimension reduction)， 即 从 初始 特征 中 找 


二 直 - 


Luz 

















正 有 用 的 特征 以 减少 数据 























采 时 要 考虑 的 特征 或 变量 个 数 。 








13.1.2. 数据 挖掘 阶段 


则 发 








数据 挖 据 阶段 首先 要 确 








定 开采 的 任务 或 








的 是 什么 ， 妇 
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现 或 序列 模式 发 现 等 。 f 
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因此 
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以 用 不 同 的 算法 来 实现 ， 











选择 实现 入 
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需要 用 与 之 相关 的 算法 来 开采 ; 二 是 ) 


I 数据 总 结 
任务 后 ， 就 要 决定 使 用 什么 样 的 开 
因素 : 一 是 不 同 的 数据 


RR, KKA 
法 。 同 样 的 任 


有 不 同 的 特点 ， 


^ 分 类 、 
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] 户 或 实际 运行 系统 的 要 求 ， 


有 的 
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类 的 


节 中 


究 人 员 主 要 努力 的 方向 ， 但 要 获 


充分 





的 (descriptive )、 容 易 理 解 的 知 


























识 ( 采 用 























方法 ), 而 有 的 
完成 了 上 述 准备 工作 后 ， 














的 理解 。 


] 户 或 系统 的 目的 是 获取 预测 ? 
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13.1.3. 结果 解释 和 评估 
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ma fe 





用 规则 表示 的 开采 方法 显然 要 好 于 神经 网 络 之 
的 预测 
数据 挖掘 方法 将 在 后 四 
作 较 为 详细 的 论述 。 需 要 指出 的 是 ， 尽 管 数据 挖掘 算法 是 知识 发 现 的 核心 ， 也 是 目 
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(predictive) 知识 。 























FA 














前 研 





























法 的 要 求 或 前 提 假 设 有 








数据 挖 据 阶段 发 现 出 来 的 模式 ， 经 过 用 户 或 机 器 的 评估 ， 可 能 存在 见 余 或 无 关 的 模式 ， 
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| 除 ， 也 有 可 能 模式 不 满足 月 








ME 


这 时 需要 将 其 易 
Prick HY HR. OK 






































段 之 前 ， 如 重新 
采掘 算法 〈 如 当 发 现任 务 是 

















果 )。 另 外 ，KDD Hr T RAR 























昌 户 要 求 ， 这 时 则 
j 新 的 数据 变换 方法 、 设 定 新 的 数据 挖掘 参数 值 ， 
分 类 时 ， 有 多 种 分 类 方法 ， 不 同 的 方法 对 不 同 的 数据 有 不 同 的 效 
向 人 类 用 户 的 ， 因 此 可 能 要 对 发 现 的 模式 进行 可 视 人 





需要 整 


个 发 现 过 程 退 





加 到 发 现 阶 
[至 换 一 种 
































, 或 者 把 


结果 转换 为 用 户 易 懂 的 另 一 种 表示 ， 如 把 分 类 决策 树 转换 为 “ 记 ..then.…” 规 则 。 


知识 发 现 过 程 中 要 注意 : 
(1) 数据 挖掘 仅 仅 是 整 
采用 的 数据 挖 




















加 技术 的 有 效 性 ， 








择 了 错误 的 数据 或 不 适当 的 属性 ， 或 对 数据 进行 了 不 适当 的 转换 ， 则 采掘 
整个 采 气 过程 是 一 个 不 断 反馈 的 过 程 。 
j 的 采掘 技术 产生 不 了 期 望 的 结 





(2) 
或 使 


始 。 



































(30 可 视 化 在 数据 挖掘 的 各 个 阶段 都 扮演 着 重要 的 
























































二 是 用 了 
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AN 3 











个 过 程 中 的 一 个 步骤 。 数 据 挖 气质 量 的 好 坏 有 两 





EY 
个 影 


响 要 素 : 一 是 所 











采 据 的 数据 的 质量 和 数量 (数据 量 的 大 小 )。 如 果 选 
































这 时 ， 用 户 需 要 习 



























































作用 。 特 别 是 ， 在 数据 准备 阶段 ，) 





的 结果 不 会 好 的 。 





比如 ， 用 户 在 采掘 途中 发 现 选 择 的 数据 不 大 好 ， 
E 复 先前 的 过 程 ， 








甚至 从 头 重 新 开 
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能 要 使 用 散 点 图 、 直 方 图 等 统计 可 视 化 技术 来 显示 有 关 数 据 ， 以 期 对 数据 有 一 个 初步 的 理解 ， 
从 而 为 更 好 地 选取 数据 打下 基础 。 在 开采 阶段 ， 用 户 则 要 使 用 与 领域 问题 有 关 的 可 视 化 工具 。 
在 表示 结果 阶段 ， 则 可 能 要 用 到 可 视 化 技术 。 
13.2 知识 发 现 的 任务 
13.2.1 数据 总 结 

数据 总 结 目的 是 对 数据 进行 浓缩 ,给 出 它 的 紧凑 描述 。 传 统 的 也 是 最 简单 的 数据 总 结 方法 
是 计算 出 数据 库 的 各 个 字段 上 的 求 和 值 、 平 均值 、 方 差 值 等 统计 值 ,或 者 用 直方 图 、 饼 状 图 等 








图 形 方式 表示 。 数 据 挖掘 主要 关心 从 数据 泛 化 的 








角度 来 讨 


















































论 数据 总 结 。 数 据 泛 化 是 一 种 把 数 


据 库 中 的 有 关 数 据 从 低层 次 抽象 到 高 层次 上 的 过 程 。 由 于 数据 库 上 的 数据 或 对 象 所 包含 的 信 
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是 最 原始 、 基 本 的 信息 (这 是 为 了 不 遗漏 任何 





JOVA 
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的 数据 信息 )。 人 们 有 时 希望 能 从 





较 高 层次 的 视图 上 处 理 或 浏览 数据 ,因此 需要 对 数据 进行 不 同 层次 上 的 泛 化 以 适应 各 种 查询 要 








求 。 数 据 泛 化 目前 主要 有 两 种 技术 :多 维 数据 分 析 方 法 和 面 
库 技术 ,也 称 作 联 机 分 析 处 理 
的 、 稳 定 的 、 不 同时 间 的 历史 数据 集合 。 






































LATE SAU 


























多 维 数据 分 析 方 法 是 一 种 数据 仓 
策 文 持 的 、 集 成 
析 中 经 常 要 用 到 诸如 求 和 、 总 计 、 平 均 、 最 大 、 
因此 一 种 很 自然 的 想法 是 ,把 ; 
储 汇集 操作 结果 的 地 方 称 作 多 台 
功 的 应 ) 




















以 及 IBM 公司 的 决策 分 析 工 具 都 使 用 
采用 多 维 数据 分 析 方 法 进行 数据 总 结 , 它 针 对 的 是 数据 仓库 ,数据 仓库 存储 的 是 脱 机 的 历 
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向 属性 的 归 











最 小 等 








史 数 据 。 为 了 处 理 联机 数据 ,研究 人 员 提 出 了 一 种 面向 属性 


用 户 感 兴 趣 的 数据 视图 





(用 一 般 




















纳 方法 。 
(OLAP)。 数 据 仓库 是 面向 决 

















决策 的 前 提 是 数据 分 析 。 在 数据 分 
[ 集 操 作 ,这 类 操作 的 计算 量 特别 大 。 
E 计 算 并 存储 起 来 ,以 便于 决策 支持 系统 使 用 。 存 




















ita 








的 SQL 查询 语言 即 可 获得 ) 进 
法 那样 预先 就 存储 好 了 泛 化 数据 。 方 法 的 提出 者 对 这 种 数据 泛 化 技术 称 之 为 面向 忆 

















INZ A ERS? 


数据 库 。 多 维 数据 分 析 技 术 已 经 在 决策 文 持 系统 中 获得 了 成 
,如 著名 的 SAS 数据 分 析 软 件 包 、Business Object 公司 的 决策 文 持 系统 Business Object, 
了 了 多维 数据 分 析 技 术 。 











纳 方法 。 它 的 思路 是 ,直接 对 
数据 分 析 方 
性 的 归纳 
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ry 





方法 。 原 始 关 系 经 过 泛 化 操作 后 得 到 的 是 一 个 泛 化 关系 , 它 从 较 高 的 层次 上 总 结 了 在 低层 次 上 














的 原始 关系 。 有 了 泛 化 关系 后 ,就 可 以 对 
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进行 各 和 

















深入 的 操作 而 生成 满足 




















] 户 需要 的 知识 ,如 


在 泛 化 关系 基础 上 生成 特性 规则 、 判 别 规则 、 分 类 规则 ,以 及 关联 规则 等 。 
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13.2.2 概念 描述 












































户 和 常常 需 要 抽象 的 有 意义 的 描述 。 经 过 归纳 的 抽象 描述 能 概括 大 量 的 关于 类 的 信息 。 
有 两 种 典型 的 描述 : 特征 描述 和 判别 描述 。 从 与 学 习 任 务 相 关 的 一 组 数据 中 提取 出 关于 这 些 
数据 的 特征 式 。 这 些 特征 式 表 达 了 该 数据 集 的 总 体 特 征 。 而 判别 描述 则 描述 了 两 个 或 更 多 个 
类 之 间 有 何 差 异 。 





































































































13.2.3 分 类 

















分 类 在 数据 挖掘 中 是 一 项 非常 重要 的 任务 ,目前 在 商业 上 应 用 最 多 。 分 类 的 目的 是 学 会 
个 分 类 函数 或 分 类 模型 (也 常常 称 作 分 类 器 ), 该 模型 能 把 数据 库 中 的 数据 项 映射 到 给 定 类 别 中 
的 某 一 个 。 分 类 和 回归 都 可 用 于 预测 。 预 测 的 目的 是 从 利用 历史 数据 纪录 中 自动 推导 出 对 给 
定数 据 的 推广 描述 ,从 而 能 对 未 来 数据 进行 预测 。 和 回归 方法 不 同 的 是 ,分 类 的 输出 是 离散 的 类 
别 值 ,而 回归 的 输出 则 是 连续 数值 。 这 里 我 们 将 不 讨论 回归 方法 。 

要 构造 分 类 器 ,需要 有 一 个 训练 样本 数据 集 作 为 输入 。 训 练 集 由 一 组 数据 库 记 录 或 元 组 构 
成 ,每 个 元 组 是 一 个 由 有 关 字 段 ( 义 称 属性 或 特征 ) 值 组 成 的 特征 问 量 ,此 外 ,训练 样本 还 有 一 个 类 
别 标记 。 一 个 具体 样本 的 形式 可 为 :(vb vo, ,va 6 ); 其 中 vi 表示 字段 值 ,c 表示 类 别 。 

分 类 器 的 构造 方法 有 统计 方法 、 机 器 学 习 方法 、 神 经 网 络 方法 等 等 。 统 计 方 法 包括 贝 叶 
斯 法 和 非 参数 法 (近邻 学 习 或 基于 范例 的 学 习 ), 对 应 的 知识 表示 则 为 判别 函数 和 原型 事例 。 机 器 
学 习 方 法 包括 决策 树 法 和 规则 归纳 法 ,前 者 对 应 的 表示 为 决策 树 或 判别 树 , 后 者 则 一 般 为 产生 
式 规则 。 神 经 网 络 方法 主要 是 BP 算法 , 它 的 模型 表示 是 前 向 反馈 神经 网 络 模型 (由 代表 神经 元 
的 节点 和 代表 联接 权 值 的 边 组 成 的 一 种 体系 结构 ),BP 算法 本 质 上 是 一 种 非 线性 判别 函数 。 另 
外 ,最 近 又 兴起 了 一 种 新 的 方法 :粗糙 集 (rough seb, 其 知识 表示 是 产生 式 规 则 。 

不 同 的 分 类 器 有 不 同 的 特点 。 有 三 种 分 类 器 评价 或 比较 尺度 :1 预测 准确 度 ;2 计算 复杂 
度 ;3 模型 描述 的 简洁 度 。 预测 准确 度 是 用 得 最 多 的 一 种 比较 尺度 ,特别 是 对 于 预测 型 分 类 任务 ， 
目前 公认 的 方法 是 10 番 分 层 交 又 验证 法 。 计算 复杂 度 依 赖 于 具体 的 实现 细节 和 硬件 环境 ,在 数 
据 挖掘 中 ,由 于 操作 对 象 是 巨 量 的 数据 库 ,因此 空间 和 时 间 的 复杂 度 问 题 将 是 非常 重要 的 一 个 
环节 。 对 于 描述 型 的 分 类 任务 ,模型 描述 越 简洁 越 受 欢迎 ;例如 ,采用 规则 表示 的 分 类 器 构造 法 就 
更 有 用 ,而 神经 网 络 方法 产生 的 结果 就 难以 理解 。 

另外 要 注意 的 是 ,分 类 的 效果 一 般 和 数据 的 特点 有 关 , 有 的 数据 噪声 大 ,有 的 有 缺 值 , 有 
分 布 稀 玻 ,有 的 字段 或 属性 间 相 关 性 强 , 有 的 属性 是 离散 的 而 有 的 是 连续 值 或 混合 式 的 。 目 前 普 
遍 认为 不 存在 某 种 方法 能 适合 于 各 种 特点 的 数据 。 
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13.2.4 RK 














根据 数据 的 不 同 特征 ， 将 其 划分 为 不 同 的 数据 类 。 它 的 目的 是 使 得 属于 同一 类 别 的 个 体 
之 间 的 距离 尽 可 能 的 小 ,而 不 同类 别 上 的 个 体 间 的 距离 尽 可 能 的 大 。 哗 类 方法 包括 统计 方法 、 
机 器 学 习 方法 、 神 经 网 络 方法 和 面向 数据 库 的 方法 。 
在 统计 方法 中 , 聚 类 称 聚 类 分 析 , 它 是 多 元 数据 分 析 的 三 大 方法 之 一 (其 它 两 种 是 回归 分 析 
和 判别 分 析 )。 它 主要 研究 基于 几何 距离 的 聚 类 ,如 欧式 距离 、 明 考 斯 基 距离 等 。 传 统 的 统计 聚 
类 分 析 方法 包括 系统 聚 类 法 、 分 解法 、 加 入 法 、 动 态 聚 类 法 、 有 序 样品 聚 类 、 有 重 登 聚 类 和 
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模糊 聚 类 等 。 这 种 聚 类 方法 是 一 种 基于 全 局 比较 的 
划分 ;因此 它 要 求 所 有 的 数据 必须 预 
































有 线性 的 计算 复杂 度 ,难以 适用 于 数据 库 非 常 大 的 情况 。 
在 机 器 学 习 中 聚 类 称 作 无 监督 或 无 教师 归纳 ;因为 和 分 类 学 习 相 比 ,分 类 学 习 的 例子 或 数 
习 算 法 来 自动 确定 。 很 多 人 工 智 
的 几何 距离 ,而 是 根据 概念 的 























HAZARI, MERK 








能 文献 中 , 聚 类 也 称 概 念 聚 类 ;因为 这 上 
描述 来 确定 的 。 当 聚 类 对 象 可 以 动态 增加 时 , 概 











RR, 

















的 例子 则 没有 标记 ,需要 1 
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|. 


13.2.5 相关 性 分 析 





发 现 特 征 之 间或 数据 之 间 的 相互 依赖 关系 。 数 据 相关 怕 


在 神经 网 络 中 ,有 一 类 无 监督 学 习 方法 : 自 组 织 神 
射 网 络 、 竞 争 学 习 网 络 等 等 。 在 数据 挖掘 领域 里 ,见报 道 的 祖 
E 映 射 方法 ,IBM 在 其 发 布 的 数据 挖掘 白皮书 中 就 特 另 



































识 。 一 个 依赖 关系 存在 于 两 个 元 素 之 间 。 如 果 从 一 个 元 素 A 的 值 可 以 推 
所谓 元 素 可 以 是 字段 ， 也 可 以 是 字段 间 





(A 一 B)， 则 称 B 依赖 于 A. KH 


有 广泛 的 应 用 。 
依赖 关系 分 析 的 结果 有 

















时 可 以 直接 提供 给 终端 用 




















它 需 要 考察 所 有 的 个 体 才 能 决定 类 的 
E 给 定 ,而 不 能 动态 增加 新 的 数据 对 象 。 聚 类 分 析 方 法 不 具 
































EE 的 距离 不 再 是 统计 方法 
则 称 是 概念 形成 。 

经 网 络 方法 ;如 Kohonen 自 组 织 特征 映 
聚 类 方法 主要 是 自 组 织 特 


日 此 方法 进行 数据 库 聚 类 分 





A Hx 
念 聚 类 





















































关系 代表 一 类 重要 的 可 发 现 的 知 








出 另 一 个 元 素 B 的 值 



































固有 的 领域 结构 而 不 是 什么 ; 





























法 。 这 类 知识 可 被 其 它 模式 





























13.2.6 偏差 分 析 























取 算 法 使 用 。 常 用 技术 有 回 





类 中 的 反常 实例 、 例 外 模式 、 观 测 结果 对 期 望 值 








的 关系 。 数 据 依 赖 关系 


而 ， 通 常 强 的 依赖 关系 反映 的 是 














所 的 或 有 兴趣 的 事物 。 自动 地 查找 依赖 关系 可 能 是 一 种 有 用 的 方 
归 分 析 、 关 联 规则 、 信 念 网 络 等 。 





















































VAN 
JJ 

其 基 本 思想 是 寻找 观察 结果 与 参照 量 之 间 的 有 意义 的 差别 。 
D 





特殊 情 ; 








的 加 们 注意。 异常 包括 如 下 几 利 























有 离 以 及 量 值 随时 间 的 变化 等 。 
通过 发 现 异常 ， 可 以 引起 人 们 对 
Fh 可 能 引起 人 们 兴趣 的 模式 :不 满足 常规 类 的 异常 例子 ; 


u 














出 现在 其 它 模式 边缘 的 奇异 点 ; 与 父 类 或 兄弟 类 不 同 的 类 ;在 不 同时 刻 发 生 了 显著 变化 的 某 


个 元 素 或 集合 ;观察 值 与 模型 推测 出 的 期 望 值 之 间 有 显著 差异 的 事例 等 。 偏 差分 析 的 一 个 重 
要 特征 就 是 它 可 以 有 效 地 过 滤 大 量 的 不 感 兴趣 的 模式 。 

















13.2.7 建 模 


通过 数据 挖 据 ， 构 造 描述 一 种 














就 是 对 一 些 自然 现象 进行 建 模 ， 习 
Bradshaw 等 于 1976 到 1983 年 研制 了 六 个 版 本 的 BACON 
用 数据 驱动 ， 通 过 启发 式 约束 搜索 ， 依 赖 于 理论 数据 项 ， 递 归 
序 反 复 检查 数据 ， 并 用 改进 操作 来 产生 新 的 “项 *”， 直 到 发 现 一 个 项 总 
概念 表示 为 “项 二 常量 ”的 形式 。 
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活动 或 状态 的 数学 模型 。 机 器 学 习 中 的 知识 发 现 ， 实 际 上 
EE 新 发 现 科 学 定律 ， 如 BACON[Shi 1992] 








。Langley，Simon， 和 



































j 一 些 通用 的 发 现 方法 。 程 
是 常量 ， 这 时 就 可 以 把 














有 如 下 共同 特点 : 采 

















13.3 知识 发 现 工具 




















随 着 大 规模 的 数据 库 迅 速 地 增长 , 人 们 对 数据 库 的 应 用 已 不 满足 于 仅 对 数据 库 进 行 查询 




















MR. 























] 查 询 检 索 不 能 提取 数据 中 蕴藏 的 丰富 知识 , 将 信息 变 为 知识 , 必须 通过 数据 挖掘 

















从 海量 数据 中 发 现 富 有 意义 的 知识 。 男 一 方面 ， 从 人 工 智能 来 看 , 专家 系统 的 研究 虽然 取得 了 























一 定 的 进展 。 但 是 , 知识 获取 仍然 是 专家 系统 研究 中 的 瓶 开 。 知 识 工程 师 从 领域 专家 处 获取 知 
识 是 非常 复杂 的 个 人 到 个 人 之 间 的 交互 过 程 。 具 有 很 强 的 个 性 和 随机 性 ， 没 有 统一 的 办 法 。 
因此 , 人 们 开始 考虑 以 数据 库 作 为 新 的 知识 源 。 知 识 发 现 能 自动 地 处 理 数据 库 中 大 量 的 原始 数 
据 ， 抽 取出 具有 必然 性 的 、 富 有 意义 的 模式 ， 作 为 有 助 于 人 们 实现 其 目标 的 知识 ， 找 出 人 们 

















对 所 需 问题 的 解答 。 


























这 里 列 出 





些 具 有 代表 性 的 知识 发 现 工具 或 平 
1. SAS Enterprise Miner 


































































































美国 SAS 公司 的 SAS Enterprise Miner 是 一 种 通用 的 数据 挖掘 工具 ， 以 其 强大 的 数据 管 








Tir Kon 


HAE AMA 








据 步 ”和 “过 程 步 
种 统计 资料 和 客户 购买 模式 ，SAS Enterprise Miner 可 以 帮助 您 发 现 业 务 的 趋势 ， 解 释 已 知 











的 统计 方法 、 高 精度 的 计算 以 及 独特 的 多 平台 自 适 应 技术 ， 使 其 成 为 统计 软件 
包 的 标准 ， 被 国内 外 许多 学 者 誉 为 最 权威 的 优秀 统计 软件 包 。 在 80 年 代 进入 中 国 后 ， 占 据 
P 门 的 统计 室 。 目 前 SAS 对 Windows 和 Unix 两 种 平台 都 提供 支持 。SAS 提供 “ 数 















































两 种 处 理 数据 的 方式 ， 可 进行 复杂 而 灵活 的 统计 分 析 。 通 过 收集 分 析 各 

















的 事实 ， 预 测 未 来 的 结果 ， 并 识别 出 完成 任务 所 需 的 关键 因素 ， 以 实现 增加 收入 、 降 低 成 本 。 
SAS Enterprise Miner 提供 抽样- 探索- 转换- 建 模 -评估 ”(SEMMA) 的 处 理 流程 。 数 据 挖掘 


算法 有 : 


























。 聚 类 分 析 ，SOMKOHONEN 神经 网 络 分 类 算法 
。 关联 模式 /序列 模式 分 析 

。 多 元 回归 模型 
。 决策 树 模型 (C45，CHAID，CART) 

。 神 经 网 络 模型 (MLP，RBF) 

e SAS/STAT, SAS/ETS 等 模块 提供 的 统计 分 析 模 型 和 时 间 序 列 分 析 模 型 也 可 媒 入 其 中 。 





2. Intelligent Miner 














IBM 公司 的 Intelligent Miner 具有 典型 数据 集 自动 生成 、 关 联 发 现 、 序 列 规律 发 现 、 概 
念 性 分 类 和 可 视 化 显示 等 功能 。 它 可 以 自动 实现 数据 选择 、 数 据 转换 、 数 据 发 据 和 结果 显示 。 
若 有 必要 ， 对 结果 数据 集 还 可 以 重复 这 一 过 程 ， 直 至 得 到 满意 结果 为 止 。 

IBM 的 Intelligent Miner 已 形成 系列 ， 它 帮助 用 户 从 企业 数据 资产 中 识别 和 提炼 有 价 
值 的 信息 。 它 包括 分 析 软 件 工 具 ----Intelligent Miner for Data 和 IBM Intelligent Miner 
for Text. Intelligent Miner for Data 可 以 寻找 包含 于 传统 文件 、 数 据 库 、 数 据 仓 库 和 数 

























































































据 中 心中 的 隐 舍 信息 。IBM Intelligent Miner for Text 允许 企业 从 文本 信息 中 获取 有 价值 
的 客户 信息 。 文 本 数据 源 可 以 是 Web 页 面 、 在 线 服 务 、 传 真 、 电 子 邮 件 、Lotus Notes 数据 
库 、 协 定 和 专利 库 。 
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3. Clementine 


Solution 公司 的 Clementine 提供 了 一 个 可 视 化 的 快速 建立 模型 的 环境 。 它 由 数据 获取 


(Data Access), RA (Investigate)、 整 理 (Manipulation), 
(Reporting) 等 部 分 组 成 。 都 使 ) 
连接 起 来 建立 一 个 数据 流 ， 可 视 化 的 界面 使 得 数据 挖掘 更 力 
业 知 识 在 每 一 步 中 更 好 的 利用 。 该 系统 

。 可 以 用 图 分 析 探 测 数据 : 直方 图 、 






















































































建 模 (Modeling) 和 报告 
































一些 有 效 、 易 用 











j 户 只 需 用 鼠标 将 这 些 组 件 
























































图 形 中 直接 生成 新 的 变量 或 者 对 数据 进行 平衡 处 理 ; 
关系 的 强 弱 ， 形 象 地 加 以 刻画 ， 并 和 4 
。 可 以 从 多 种 建 模 技 术 中 选择 合适 的 模型 : 
QD 规则 归纳 模型 : C5. 0 和 
GRI 和 Apriori 可 以 自动 检测 





u 









































E 成 














BuildRule 可 以 生成 六 











上 直观 交互 ， 从 而 可 以 将 用 户 的 商 




















到 可 以 清楚 展现 数据 的 内 部 结构 ， 并 且 可 以 从 
、 网 状 图 可 以 检测 不 同 变量 间 的 
新 的 变量 或 者 对 数据 进行 得 选 ; 





























策 树 ， 生 成 易 懂 的 模型 ， 并 进行 预测 ; 

















复杂 的 关系 ， 建 立 预测 模 3 

















@@ 神 经 网 络 模型 : MLP、RBFN 和 Kohonen 网 络 可 以 从 训练 数据 中 进行 自学 习 ， 解 读 复杂 


的 关系 ， 建 立 预测 模型 ，Kohonen 网 络 可 以 将 数据 按照 相似 程度 加 以 分 类 ， 比 如 客户 、 订 单 。 
(BK-means 是 一 种 快速 高 效 的 聚 类 算法 ; 


由 


“ 可 以 将 多 种 模型 技术 组 合 起 来 或 者 建立 大 型 模型 (meta 





。 将 


Rail 

















式 运行 。 




















LOMA 


IE REEL Pa 














SPSS 集成 在 Clementine 4 











以 直接 读 写 SPSS 数据 文 位 
作 图 等 ， 可 以 调 月 
放 型 的 数据 挖掘 平台 ， 可 以 通过 外 部 模块 接口 








4. Cognos Scenario 


加 拿 大 Cognos 公司 创立 于 1969 E, ji 








F， 可 以 使 用 SPSS 进行 数据 准备 、 报 



























































-models ) 








添加 更 多 的 算法 ， 可 以 以 批 处 理 的 模 











UE HEUS, 





推出 一 系列 商务 智能 软件 。 




















Cognos Scenario 是 基于 树 的 高 度 视图 化 的 数据 挖掘 工 具 ， 它 将 信息 挖掘 自动 化 。 决 策 树 的 基 














本 功能 是 创立 一 系列 标准 ， 预 测 记录 中 目标 市 场 的 价 














H. Scenario 的 分 类 树 分 阶 展现 各 种 因 








R: 最 终 用 户 通 过 控 据 或 展开 树 的 分 六 来 探 察 数据 。Scenario 可 以 帮助 企业 经 理 指导 分 析 ， 




















和 “查询 





险 特性 将 个 体 与 群体 客户 归 类 ; 














并 用 一 套 严格 的 标准 测量 信息 。 由 于 有 时 数据 集 庞 大 而 笨 习 
少 的 处 理 开销 和 最 短 的 响应 时 间 得 出 最 精确 


















































E, Scenario 的 抽样 技术 可 以 用 最 
AG Cognos 的 “分 析 然后 ”查询 ” 
然后 “导航 ”的 方法 相 一 致 ，Scenario 与 PowerPlay 和 Impromptu 相 集 成 ， 人 允许 
用 户 发 现 分 析 碍 询 。 
人 们 可 以 利用 Scenario 的 统计 方法 ， 深 入 挖 提 

















四 影响 商务 趋势 的 因素 的 潜在 含义 ， 根 据 风 

















与 通常 数据 模式 不 符 的 异常 情况 等 。 


5. MSMiner 
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将 商务 因素 分 门 另 





| 类， 辨 清 商 务 目 标 所 受 的 主要 影响 ， 探 察 

















PRL Berl See AM 








究 所 智能 信息 处 理 开放 实验 室 开 发 的 MSMiner 是 一 种 多 策略 知识 发 现 





























平台 ， 能 够 提供 快捷 有 效 的 数据 挖掘 解决 方案 ， 提 供 多 种 知识 发 现 方法 。MSMiner 具有 下 列 特 


ye 

















“提出 了 一 种 面向 对 象 的 元 数据 结构 ， 将 经 过 良好 封装 的 元 数据 对 象 以 层次 结构 组 织 起 
来 ， 形 成 一 种 元 数据 对 象 模型 ， 并 通过 这 种 元 数据 对 象 模型 统一 存 取 和 管理 元 数据 ， 使 系统 




















具有 良好 的 一 致 性 和 可 维护 性 。 






































* 设计 实现 了 一 种 简单 但 有 效 的 数据 仓库 平台 ， 按 主题 组 织 数据 ， 以 星 型 模式 建 模 ， 提 























供 了 有 效 的 数据 抽取 和 集成 功能 ， 为 数据 挖掘 任务 提供 经 过 民 好 处 理 的 数据 来 源 。 
































- 提出 了 一 种 面向 对 象 的 数据 挖掘 任 务 模型 。 数 据 挖掘 任务 的 每 个 步 又 都 用 对 象 来 表示 ， 
每 个 对 象 包含 多 种 属性 以 及 DML 方法 脚本 ， 各 个 步 又 对 象 通过 有 向 图 模型 组 织 起 来 。 通 过 这 
种 任务 模型 能 够 有 效 表达 各 种 数据 挖掘 任务 。MSMiner 系统 实现 了 可 视 化 的 任务 编辑 环境 ， 以 
及 功能 强大 的 任务 处 理 引擎 ， 能 够 快捷 有 效 地 实现 各 种 数据 挖掘 任务 。 

































































- 设计 了 一 种 可 扩展 算法 库 ， 以 动态 链接 库 DLL 的 方式 集成 了 各 种 数据 挖掘 算法 ， 并 设 
计 了 开放 的 接口 ， 能 够 灵活 扩展 用 户 自 定义 算法 。 



































一 些 研 究 单 位 提供 了 知识 发 现 公 用 系统 ， 例 如 斯 坦 福 大 学 的 MLC++、 华 盛 顿 大 学 的 Brute 


等 ， 读 者 可 以 通过 Internet 网 免费 下 载 。 

















美国 MathWorks 公司 于 1982 年 推出 的 一 套 高 性 能 的 数值 计算 和 可 视 化 数学 软件 ， 被 称 为 
MATLAB. MATLAB 的 含义 是 矩阵 实验 室 (MATRIX LABORATORY) ， 主 要 用 于 方便 矩阵 的 存 取 ， 其 
基本 元 素 是 无 须 定 义 维 数 的 矩阵 。 它 集 数 值 分 析 、 和 拢 阵 运 算 、 信 和 号 处 理 和 图 形 显 示 于 一 体 ， 
构成 了 一 个 方便 的 、 界 面 友 好 的 用 户 环 境 。 在 这 个 环境 下 ， 对 所 要 求解 的 问题 ， 用 户 只 需 简 














单 地 列 出 数学 表达 式 ， 















































































































































其 结果 便 以 数值 或 图 形 方式 显示 出 来 。MATLAB 中 包括 了 被 称 作 工具 箱 
































(TOOLBOX)〉 的 各 类 应 

















问题 的 求解 工具 。 工 具 箱 实际 上 是 对 MATLAB 进行 扩展 应 用 的 一 系列 




















MATLAB KZ CPR M SCTE) ， 它 可 用 来 求解 各 类 学 科 的 问题 ， 包 括 信 号 处 理 、 图 象 处 理 、 控 


制 系统 辨识 、 神 经 网 络 等 。 随 着 MATLAB 版 本 的 不 断 升级 ， 其 所 含 的 工具 箱 的 功能 也 越 来 越 丰 
















































































富 ， 因 此 ， 应 用 范围 也 越 来 越 广泛 ， 成 为 涉及 数值 分 析 的 各 类 工程 师 不 可 不 用 的 工具 。MATLAB 











中 的 模块 也 可 以 用 来 快速 开发 知识 发 现 工 其 。 









































下 面 我 们 将 以 知识 发 现 平 台 MSMiner 为 例 [Shi 2000]， 介 绍 知识 发 现 的 关键 技术 。 




















13. 4 MSMiner 的 体系 结构 




















中 科 院 计算 技术 看 











究 所 智能 信息 处 理 开放 实验 室 开 发 的 知识 发 现 平台 MSMiner 采用 任务 

















驱动 模型 组 织 挖掘 过 程 ， 元 数据 作为 系统 的 管理 和 调度 中 心 ， 实 现 了 数据 仓库 与 数据 挖掘 的 























有 机 集成 和 数据 挖 握 介 








法 与 采 抉 任务 的 无 缝 连接 。 





13.4.1 数据 挖掘 模型 


我 们 为 MSMiner 定义 了 包含 三 个 逻辑 层次 的 数据 挖掘 系统 模型 ， 如 图 13.2 所 示 。 
决策 分 析 需 要 大 量 经 过 良好 组 织 和 综合 的 数据 ， 数 据 挖 据 尤 其 依赖 于 经 过 一 定 预 处 理 的 
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清洁 的 数据 ， 这 些 数 据 来 源 于 外 部 各 种 数据 源 ， 需 要 经 过 复杂 的 抽取 和 整合 ， 集 成 到 数据 仓 
库 中 去 ， 这 些 工 作 都 由 数据 获取 层 来 完成 。 因 此 数据 获取 层 在 整个 系统 中 占有 非常 重要 的 地 


位 。 















































































数据 挖掘 层 
数据 存储 层 

D R————-—-—-€-. | WILL 
. 数据 获取 层 ZEA SURG HEE 














图 13.2 MSMiner 数据 挖掘 模型 
MSMiner 的 数据 获取 层 主要 包括 一 个 数据 抽取 模块 ， 通 过 这 个 模块 可 从 各 种 关系 型 数据 





























库 、 数 据 文件 以 及 Web 数据 等 外 部 数据 源 中 抽取 合适 的 数据 ， 并 进行 各 种 清洗 、 整 合 和 转换 
处 理 ， 将 数据 集成 到 数据 仓库 中 的 各 个 主题 中 去 。 

。 数据 存储 层 

数据 存储 层 就 是 数据 仓库 本 身 ， 包 括 一 个 或 多 个 数据 库 ， 以 一 定 的 组 织 结构 存储 各 种 集 
成 的 数据 。 

MSMiner 的 数据 存储 层 以 多 个 SQL Server 数据 库 实现 。MSMiner 数据 仓库 包含 多 个 主题 ， 
每 个 主题 存储 在 一 个 数据 库 中 ， 包 括 多 个 综合 表 ， 这 些 综合 表 主 要 有 以 下 三 种 ， 事实 表 、 维 
表 和 为 数据 挖掘 生成 的 中 间 表 。 

: 数据 挖掘 层 

数据 挖掘 层 是 数据 挖掘 系统 模型 中 的 最 高 层 ， 也 往往 是 用 户 最 关心 的 一 层 。 数 据 仓库 中 
的 大 量 集成 数据 要 为 用 户 所 用 ， 所 用 的 基于 数据 仓库 的 数据 分 析 和 数据 挖掘 功能 就 在 这 一 层 
通过 集成 各 种 分 析 和 采掘 工具 来 实现 。 
MSMiner 的 数据 挖 气 层 是 系统 功能 实现 的 重点 ,主要 包括 一 个 功能 强大 的 数据 挖掘 集成 工 
具 ， 集 成 了 各 种 数据 挖掘 算法 ， 并 提供 灵活 有 效 的 任务 模型 组 织 形 式 ， 可 以 文 持 各 种 数据 控 
掘 任务 。 
MSMiner 的 数据 挖 据 层 还 包括 一 个 OLAP 工具 ， 通 过 建立 数据 立方 体 实 现 各 种 多 维 数 据 分 
析 处 理 操作 ;以 及 各 种 集成 的 可 视 化 工具 ， 以 多 种 方式 直观 有 效 地 表示 数据 和 数据 挖掘 以 及 
OLAP 操作 的 结果 。 
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13.4.2 系统 功能 








MSMiner 致力 于 提供 一 个 功能 强大 的 数据 分 析 和 数据 挖掘 集成 环境 。 包 括 一 个 数据 仓库 平 
台 ， 提 供 基 于 数据 仓库 的 数据 管理 和 面向 决策 的 数据 分 析 处 理 功 能 ， 和 一 个 建立 在 数据 仓库 
基础 之 上 的 数据 挖掘 工具 ， 提 供 各 种 数据 挖掘 算法 以 及 灵活 开放 的 任务 组 织 形式 ， 能 够 有 效 
















































































完成 各 种 数据 挖掘 任务 。 

















MSMiner 的 最 终 设计 目标 旨 在 为 各 种 科学 研究 和 决策 支持 应 用 提供 快捷 有 效 的 数据 挖掘 




















解决 方案 。MSMiner 提供 的 功能 包括 : 
。 从 多 种 操作 数据 源 抽取 数据 的 能 力 、 以 及 跨 数 据 源 的 数据 集成 能 












































* 集中 管理 和 维护 数据 仓库 中 数据 的 功能 ， 包 括 数 据 存储 优化 、 数 据 增 量 维护 的 能 
































。 集 成 OLAP 多 维 综合 和 分 析 ， 通 过 内 置 OLAP 引擎 ， 提 供 高 效 OLAP 分 析 的 能 
。 集 成 各 种 数据 挖掘 算法 ， 通 过 灵活 的 任务 模型 组 织 方 式 ， 提 供 处 理 各 种 数据 挖掘 任务 

































































的 能 力 ; 并 提供 开放 的 接口 ， 提 供 扩 展 用 户 自 定义 算法 的 能 力 。 
“ 提供 多 种 可 视 化 方法 显示 和 分 析 各 种 数据 和 数据 挖 据 结 果 的 能 



































MSMiner 提供 对 数据 的 开放 性 ， 这 对 任何 一 个 数据 仓库 的 解决 方案 都 是 十 分 关键 的 。 企 业 
的 数据 库 系统 可 能 是 多 种 多 样 的 ，MSMiner 的 数据 抽取 引擎 提供 访问 其 它 任意 支持 ODBC OT 











放 数 据 库 连 接 ) 的 数据 库 的 能 力 。 系 统 为 数据 挖掘 任务 提供 了 可 扩展 的 数据 挖掘 算法 库 ， 朋 
户 可 以 根据 自己 的 需要 ， 通 过 系统 提供 的 开放 接口 ， 加 入 自 定 义 的 算法 ， 使 系统 适用 于 各 种 






















































































不 同 的 数据 挖掘 任务 。 在 提供 向 外 部 数据 源 的 开放 性 的 同时 ，MSMiner 特别 注意 了 元 数据 的 设 
计 、 数 据 仓库 的 建 模 、0OLAP 引擎 的 集成 以 及 数据 挖掘 任务 处 理 引擎 的 设计 ， 以 达到 最 优化 的 






















































































界面 ， 使 用 户 能 够 直观 便捷 地 描述 和 完成 各 种 数据 分 析 和 数据 挖掘 任务 。 


13.4.3 体系 结构 


























性 能 。MSMiner 提供 便捷 有 效 的 数据 挖掘 实现 方案 ， 因 此 必须 为 用 户 提供 简便 易 行 的 处 理 各 种 























数据 挖掘 任务 的 手段 。MSMiner 系统 以 向 导 方 式 实现 各 个 功能 模块 ， 并 提供 了 各 利 


rap BU ABER 


为 实现 上 述 设计 目标 ，MSMiner 采用 客户 / 服务 器 方式 构建 。 服 务 器 端 为 实现 数据 仓库 的 











SQL Server 7.0 数据 库 服 务 器 。 客 户 端 为 MSMiner 前 端 系统 ， 主 要 包括 三 个 部 分 : 数据 仓库 
管理 器 、 数 据 挖掘 集成 工具 和 面向 对 象 的 元 数据 模块 。 整 个 系统 的 结构 如 图 13. 3 所 示 。 
























































数据 挖掘 集成 工具 


执行 数据 挖掘 任务 


骨 辑 数据 挖掘 任务 





























主题 组 织 


数据 抽取 和 集成 























13.3 MENN cak A d AT RS ER PR] 
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数据 仓库 管理 
织 、0 


主题 的 组 织 、 
为 整个 系统 提 


数据 挖掘 集成 工具 建立 在 数据 仓库 3 





























解释 执行 以 及 结果 上 
数据 仓库 管理 器 为 数据 挖掘 
台 ; 数据 挖掘 集成 工具 为 数据 仓库 











现 重 点 。 


MSMiner 系统 的 各 个 部 分 都 
务 的 建立 和 执行 ， 整 个 流程 都 在 元 数据 的 控制 之 
PAB ROA PAK. R2 
种 元 数据 对 象 实现 对 元 数据 的 存 取 和 管理 ， 以 保证 系统 的 一 致 性 和 可 操作 
小 结 : 本 节 介 绍 了 MSMiner 的 体系 结构 。 我 1 





是 整 











的 解释 和 评价 等 数据 控 和 


BE 


AN 


tita AE.» 

















十 日 L- 
提供 高 



































元 数据 统 
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TARRI, 








BT 
LAN 























器 包含 了 数据 仓库 各 种 主要 功能 的 实现 ， 包 括 数 据 # 
LAP 和 各 种 可 视 化 功能 的 实现 等 。 数 据 仓 库 管 理 器 负 
供 数据 平台 ， 为 各 种 数据 分 析 处 理 以 及 更 高 层 的 数据 挖 
F 台 之 上 ， 完 成 数据 挖 据 任 务 的 组 织 、 任 务 的 规划 和 



































Ie ACH 








管理 和 监控 。 从 数据 的 抽取 和 管理 到 数据 挖掘 任 
。 元 数据 在 MSMiner 系统 中 居于 核心 地 位 ， 
建立 了 一 种 元 数据 对 象 模型 ， 通 过 各 




















| 取 和 集成 、 数 据 仓库 
责 管 理 数据 仓库 中 的 数据 
所 提供 统一 的 数据 环境 。 


性 。 
门 认为 ， 将 MSMiner 定位 于 为 各 种 决策 支持 











, 





成 工具 提供 经 过 清洗 和 整合 的 数据 ， 是 整个 系统 的 数据 平 


层次 的 数据 分 析 处 理 逢 HOHE, RAIN 






































和 科学 研究 提供 快捷 有 效 的 数据 挖掘 解决 方案 ， 以 数据 仓库 作为 数据 平台 为 数据 挖掘 提供 数 


据 来 源 ， 以 数据 挖 和 
具有 良好 的 应 
同时 ， 我 们 在 设计 时 充分 考虑 了 开放 性 和 可 伸缩 改 
并 且 ， 我 们 设计 了 一 整套 面向 对 象 的 元 数据 ， 以 这 些 元 数据 为 核心 控制 管理 整个 系统 ， 充 分 
保证 了 系统 的 一 
















































































价值 。 











加 工具 作为 系统 重心 ， 面 向 任务 组 织 数据 挖掘 流程 ， 这 种 方案 是 可 行 的 并 











致 性 











灵活 性 和 可 维护 性 。 














13. 5 元 数据 管理 














E， 使 系统 能 够 适用 于 各 种 不 同 的 情况 。 




















元 数据 就 是 关于 数据 的 数据 。 在 数据 仓库 中 ， 元 数据 具有 重要 的 地 位 ， 对 数据 仓库 的 设 











js 








发 、 维 护 和 管理 ， 
据 在 数据 仓库 周期 中 的 作 ) 





对 数据 的 组 织 、 信 ， 
可 以 将 



































J9 














要 服务 于 信息 技术 环境 的 开 
据 服 务 于 企业 的 运作 环境 ， 使 它 更 有 益 于 终端 用 
在 MSMiner 中 ， 我 们 拓 
环境 ， 不 仅 包 括 数据 仓库 平台 中 的 数据 ， 并 且 包 括 数据 挖掘 工具 中 的 作 
也 位 ， 统 一 管理 数据 仓库 和 数据 挖掘 工具 ， 并 控 甫 
包括 数据 准备 、 采 气 、 表 述 以 及 评价 ， 使 数据 和 数据 挖掘 任务 有 机 地 








据 居 于 整个 系统 的 核心 














同时 ， 





MSMiner 采用 


据 的 一 致 性 和 系统 的 健壮 性 。 
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分 为 技术 级 元 数据 和 商 记 
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展 了 元 数据 的 作用 范 


ea 



























































了 一 种 面向 对 象 的 方法 对 复杂 














13.5.1 MSMiner 元 数据 的 内 容 


MSMiner 
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系统 的 元 数据 主要 包括 以 下 儿 方 面 内 容 : 
1. 外 部 数据 源 描述 。 包 括 数据 源 连接 及 环境 信息 ， 数 据 源 内 容 的 汶 
数据 库 及 其 表 、 字 段 等 的 描述 














述 。 























围 ， 用 元 数据 描述 和 管理 





E 大 作用 。 根 据 元 数 
/级 元 数据 。 技 术 级 元 数据 主 
护 和 管理 过 程 中 的 设计 者 、 开 发 者 和 管理 者 。 企 业 级 元 数 





整个 系统 的 数据 和 























d: 
结合 


的 元 数据 进行 管理 丰 











E 务 模型 。 这 样 ， 元 数 
| 整个 数据 挖 气流 程 
在 一 起 。 
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xh, 包括 外 部 
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2， 数 据 仓库 描述 。 包 括 数据 仓库 本 身 的 存储 位 置 、 数 据 库 结 构 、 描 述 信息 等 。 

3. 用 户 信息 。 包 括 用 户 的 基本 信息 、 权 限 、 操 作 历 史 等 。 

4， 事 实 表 、 维 表 和 中 间 表 的 描述 。 包 括 表 的 基本 信息 《〈 表 名 、 表 结构 、 数 据 表 来 源 ， 数 
据 抽 取 和 转换 规则 等 )， 各 个 字段 的 基本 信息 《字段 名 、 类 型 、 长 度 、 精 度 、 数 据 来 
Vi) 以 及 有 关 描 述 信息 。 

5.， 主题 描述 。 包 括 主题 名 , 主题 内 容 , 数据 抽取 和 更 新 历史 ,数据 更 新 周期 存储 位 置 、 
有 关 描 述 信 息 等 。 

6. 数据 立方 体 描述 。 包括 数 据 立 方 体 中 维和 度量 的 选取 、 星 型 模型 的 构造 (事实 表 和 维 
表 的 星 型 关联 ) 等 。 

7. 数据 挖掘 任务 描述 。 包 括 任务 的 组 织 、 步 又， 数据 来 源 ， 数 据 挖掘 算法 的 选取 ， 参 数 
设 定 ， 结 果 的 评估 和 输出 方式 ， 以 及 任务 建立 和 执行 历史 等 。 

8， 数 据 挖掘 算法 库 的 管理 。 注 册 和 管理 各 种 采掘 算法 ， 记 录 算 法 参数 、 数 据 格 式 、 算 法 

库存 储 位 置 和 连接 信息 等 。 



























































































































































13.5.2 MSMiner 元 数据 库 











MSMiner 数据 仓库 由 多 个 SQL Server 数据 库 构成 ， 元 数据 库 是 其 中 一 个 数据 库 。 元 数据 
库 中 包含 多 个 元 数据 表 ， 分 别 存储 各 类 元 数据 的 详细 信息 ， 是 MSMiner 数据 仓库 中 的 核心 数 
据 库 




















为 了 保证 元 数据 的 一 致 性 ， 这 些 元 数据 表 互 相关 联 ， 道 循 一 定 的 约束 关系 。 例 如 ， 
metaDatabase 和 metaTable 这 两 个 元 数据 表 通 过 databaseID 互相 关联 ， 当 修改 或 删除 
metaDatabase 表 中 的 一 条 记录 时 ，metaTable 中 的 相关 记录 必须 做 相应 改动 。 图 13.4 Sos T JL 
个 主要 的 元 数据 表 之 间 的 约束 关系 : 





























图 13.4 ”元 数据 表 约 束 关系 


335 


ww ai bbt. com [1 O D DO DT 





























附加 约束 关系 的 元 数据 表 只 是 元 数据 内 容 的 存储 方式 ， 用 户 并 未 直接 与 这 些 表 打交道 ， 
而 是 通过 一 种 面向 对 象 的 元 数据 模型 来 操纵 这 些 数据 。 




















13.5.3 MSMiner 元 数据 对 象 模型 





MSMiner 的 元 数据 数量 庞大 并 且 关 系 复杂 ， 很 自然 的 想法 是 ， 通 过 一 种 相对 独立 的 模块 
专门 负责 对 元 数据 的 存 取 管理 ， 这 个 模块 应 该 符合 以 下 设计 要 求 : 

m 一 致 性 。 

对 元 数据 的 操作 应 保证 元 数据 的 一 致 性 和 完整 性 。 对 某 一 元 数据 进行 修改 时 ， 必 须 

使 其 他 相关 元 数据 同步 更 新 。 

a 完备 性 。 

能 够 对 所 有 元 数据 进行 统一 管理 ， 满 足 任何 元 数据 操作 的 需要 。 
a 易 维护 性 。 
通过 该 模块 对 元 数据 的 操作 管理 应 逻辑 清晰 、 简 便 易 行 。 

根据 以 上 设计 要 求 ， 我 们 设计 了 一 种 面向 对 象 的 元 数据 结构 。 即 将 各 种 元 数据 封装 在 相 
应 的 元 数据 类 中 ， 将 这 些 元 数据 类 的 对 象 实例 通过 层次 结构 有 机 地 组 织 起 来 ， 构 成 一 种 层次 
型 对 象 模型 。 系 统 通 过 这 些 对 象 对 各 元 数据 表 进 行 操作 管理 。 

系统 通过 这 种 对 象 模型 访问 元 数据 ， 而 不 需要 直接 接触 元 数据 库 。 在 经 过 良好 封装 的 元 
数据 类 中 包含 各 种 属性 和 方法 ， 属 性 表达 了 相应 的 元 数据 值 ， 而 方法 定义 了 对 相关 元 数据 的 
各 种 操作 ， 并 负责 维护 元 数据 之 间 的 一 臻 性。 元 数据 的 存 取 、 更 新 和 管理 通过 访问 这 些 属性 
和 方法 来 实现 。 

MSMiner 的 元 数据 对 象 模型 的 设计 不 仅 保证 了 元 数据 的 一 致 性 ， 并 且 使 系统 建立 和 维护 
工作 的 难度 大 大 降低 ， 增 强 了 系统 的 健壮 性 和 可 操作 性 。 

MSMiner 的 元 数据 类 在 实现 上 分 为 两 种 : 个 体 类 和 集合 类 。 

个 体 类 主要 包含 对 应 相关 元 数据 表 中 各 个 元 数据 值 的 各 种 属性 ， 负 责 存 取 和 更 新 相关 元 
数据 表 中 的 单条 记录 。 
集合 类 包含 了 相关 个 体 类 对 象 的 集合 ， 负 责 对 整个 元 数据 表 进 行 存 取 和 更 新 以 及 维护 各 
类 元 数据 之 间 的 一 致 性 。 
集合 类 和 个 体 类 的 各 个 对 象 实例 按照 一 定 的 逻辑 关系 互相 包含 ， 构 成 了 如 图 13.5 所 示 的 
树 形 结构 对 象 模型 。 
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= wm CMeta 
=|. 8, CAlgori thmS 
=| ga! CAlgorithm 
El, CAlgorithnParaS 
ES! CAlgorithmPara 
= FA CDataBaseS 
=) ga CDatabase 
= EA CSourceTableS 
ES! CSourceTable 
=|, CTableS 
=| gái CTable 
C CFields 
+g CField 
= FA CUserS 
ES CUser 
E EA CWarehouseS 
日 -网 Ciarehouse 
上 CSubjectS 
-ei CSubject 
X, CCubeS 
* F3 CDimensionS 
+), CFactS 
=|, CTaskS 
-g CTask 
=|, CStepS 
+- CStep 
= ~ By CiareDatabaseS 
O- CDatabase 
=], CSourceTableS 
ES! CSourceTable 


图 13.5 ”元 数据 对 象 模型 

对 元 数据 进行 更 新 时 , 直接 更 新 相应 个 体 类 对 象 中 的 相关 属性 , 然后 调用 该 对 象 的 Updatte() 
方法 完成 对 元 数据 表 的 操作 ， 同 时 触发 对 其 他 相关 元 数据 对 象 的 更 新 。 

对 元 数据 进行 增删 操作 时 , 通过 调用 相应 集合 类 对 象 中 的 Add0 或 Remove0 方 法 , 增加 或 
删除 集合 中 的 个 体 对 象 并 更 新 元 数据 表 ， 同 时 触发 对 其 他 相关 元 数据 对 象 的 更 新 。 

通过 这 种 方式 ， 不 仅 逻 辑 清晰 地 表达 了 整个 元 数据 的 结构 ， 并 且 有 效 地 保证 了 元 数据 的 
一 致 性 。 

各 个 集合 类 中 的 属性 和 方法 基本 类 似 ， 主 要 有 以 下 几 种 ; 






























































































































































































































































































































































Item(index) 获得 个 体 对 象 集合 中 的 一 个 对 象 

Count 个 体 对 象 集合 中 的 对 象 总 数 

Add(object) 新 增 一 个 个 体 对 象 

Remove(index) 删除 一 个 个 体 对 象 

GetCollection() 初始 化 时 ， 从 元 数据 表 中 读 取 得 到 个 体 对 象 集合 

各 个 个 体 类 中 的 属性 和 方法 与 相关 元 数据 的 内 容 有 关 ， 以 下 将 具体 说 明 一 些 主要 的 元 数 
据 个 体 类 的 设计 。 

MSMiner 元 数据 的 所 有 内 容 的 描述 ， 都 包含 在 一 个 主 元 数据 类 CMeta 之 中 。CMeta 类 的 
定义 如 下 : 

CMeta 

i 
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Algorithms 算法 集合 类 CAlgorithmS 的 对 象 实例 























Databases 数据 库 集合 类 CDatabaseS 的 对 象 实例 
Tables 表 集 合 类 CTableS 的 对 象 实例 

Users JA RAX CUserS 的 对 象 实例 
Warehouses 数据 仓库 集合 类 CWarehouseS 的 对 象 实例 








} 

Jt, Algorithms 包含 了 算法 个 体 类 CAlgorithm 的 对 象 实例 集合 ， 注 册 了 各 种 数据 挖掘 
算法 的 详细 信息 。 

Databases 包含 了 数据 库 个 体 类 CDatabase 的 对 象 实例 集合 ， 描 述 各 个 外 部 数据 库 的 详细 


















































信息 


Fi S 








Tables 包含 了 数据 表 个 体 类 CTable 的 对 象 实例 集合 ， 描 述 所 有 注册 外 部 数据 表 和 数据 仓 
库 内 部 数据 表 的 详细 信息 。 

Users 包含 了 用 户 个 体 类 CUser 的 对 象 实例 集合 ， 登 记 各 用 户 的 详细 信息 。 

Warehouses 包含 了 数据 仓库 个 体 类 CWarehouse 的 对 象 实例 集合 ， 描 述 数据 仓库 中 各 种 内 
容 的 详细 信息 。 

这 五 个 元 数据 集合 对 象 基 本 包含 了 所 有 元 数据 的 内 容 ， 其 他 各 种 元 数据 对 象 都 按照 一 定 
的 关系 包含 在 五 个 对 象 之 中 。 系 统 运 行 时 生成 CMeta 的 一 个 对 象 实例 ， 在 这 个 对 象 中 就 包含 
了 其 他 所 有 元 数据 对 象 的 实现 。 通 过 这 个 对 象 逐 层 深 入 ， 就 可 对 所 有 元 数据 进行 分 类 存 取 和 
管理 。 
以 下 是 数据 仓库 类 CWarehouse 的 定义 : 
CWarehouse 
{  WarehouseID 数据 仓库 ID 

WarehouseName 数据 仓库 名 称 





























































































































Subjects 主题 集合 类 CSubjectS 的 对 象 实例 
Tasks 数据 挖掘 任务 集合 类 CTableS 的 对 象 实例 
WareDatabases 数据 库 集 合 类 CDatabaseS 的 对 象 实例 














HF, Subjects 包含 了 主题 个 体 类 CSubject 的 对 象 实例 集合 ， 描 述 各 个 主题 及 其 所 包含 的 
事实 表 、 维 表 、 中 间 表 和 数据 立方 体 的 详细 信息 。 

Tasks 包含 了 数据 挖掘 任务 个 体 类 CTask 的 对 象 实例 集合 ， 描 述 各 个 数据 挖掘 任务 及 其 各 
步骤 的 详细 信息 。 

WareDatabases 包含 了 数据 库 个 体 类 CDatabase 的 对 象 实例 集合 ， 描 述 数 据 仓 库 中 各 个 内 
部 数据 库 的 详细 信息 。 

元 数据 类 CWarehouse 的 结构 反映 了 MSMiner 系统 的 设计 思路 :数据 仓库 作为 数据 挖掘 的 
数据 平台 ， 按 主题 组 织 数据 ， 为 数据 挖掘 任务 提供 数据 来 源 。 整 个 系统 的 结构 即 按照 
CWarehouse 类 的 结构 来 组 织 。 

MSMiner 元 数据 的 管理 是 在 各 功能 模块 的 管理 维护 中 实现 的 。 在 通过 MSMiner 各 个 功能 
模块 对 数据 仓库 各 部 分 和 数据 挖掘 任务 进行 建立 、 修 改 和 日 常 维护 时 ， 元 数据 中 的 相应 内 容 
也 同时 得 到 新 增 、 修 改 和 维护 。 用 户 在 管理 数据 仓库 和 数据 挖掘 任务 的 同时 ， 也 就 是 在 管理 
元 数据 。 实 际 上 ， 用 户 就 是 通过 在 各 个 功能 模块 中 对 后 台 元 数据 进行 维护 来 实现 对 整个 系统 
的 管理 。 

对 元 数据 各 部 分 内 容 的 管理 , 分 布 在 系统 中 的 数据 抽取 和 集成 模块 主题 组 织 模块 、.OLAP 
模块 、 数 据 挖 据 任务 编辑 模块 及 算法 管理 模块 等 各 个 模块 之 中 。 
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元 数据 在 数据 仓库 中 占有 极其 重要 的 地 位 ， 而 MSMiner 进一步 拓展 了 元 数据 的 范围 ， 使 
它 对 从 数据 抽取 、 数 据 管理 到 数据 挖掘 的 整个 过 程 进 行 统一 的 管理 和 控制 ， 元 数据 成 为 整个 
系统 的 核心 和 灵魂 。 

为 了 保证 对 复杂 元 数据 的 有 效 管 理 和 元 数据 的 一 致 性 ， 我 们 设计 了 一 种 元 数据 对 象 模型 ， 
将 元 数据 的 存 取 和 管理 封装 在 多 个 元 数据 类 中 ， 通 过 互相 关联 的 多 个 元 数据 对 象 对 元 数据 进 
行 操 作 ， 保 证 了 整个 系统 的 一 致 性 和 可 维护 性 。 




































































13.6 数据 仓库 


13.6.1 数据 仓库 含义 


到 八 十 年 代 ， 计 算 机 技术 的 迅猛 发 展 已 使 大 部 分 企业 在 他 们 的 数据 库 中 积累 了 大 量 的 数 
据 ， 人 们 已 不 再 满足 于 简单 的 数据 操作 ， 产 生 了 进一步 使 用 现 有 数据 的 需求 ， 也 就 是 利用 现 
有 的 数据 ， 进 行 分 析 和 推理 ， 从 而 为 决策 提供 依据 。 这 种 需求 既 要 求 联 机 服务 ， 又 涉及 大 量 
用 于 决策 的 数据 ， 而 传统 的 数据 库 系 统 已 无 法 满足 这 种 需求 。 其 具体 体现 在 三 个 方面 : OUR 
策 所 需 历史 数据 量 很 大 ， 而 传统 数据 库 一 般 只 存储 短期 数据 。@ 辅 助 决策 信息 涉及 许多 部 门 
的 数据 ， 而 不 同系 统 的 数据 难以 集成 。@@ 由 于 访问 数据 的 能 力 不 足 ， 它 对 大 量 数据 的 访问 性 
能 明显 下 降 。 
随 着 C/S (客户 /服务 器 〉 技 术 的 成 熟 和 并 行 数据 库 的 发 展 ， 信 息 处 理 技 术 的 发 展 趋势 是 : 
从 大 量 的 事务 型 数据 库 中 抽取 数据 ， 并 将 其 清理 、 转 换 为 新 的 存储 格式 ， 即 为 决策 目标 把 数 
据 聚 合 在 一 种 特殊 的 格式 中 。 随 着 此 过 程 的 发 展 和 完善 ， 这 种 九 十 年 代 初 出 现 的 支持 决策 的 、 
特殊 的 数据 存储 即 被 称 为 数据 仓库 (Data Warehouse)。 

目前 ， 人 们 对 数据 仓库 有 很 多 不 同 的 理解 ， 但 都 有 共同 之 处 ， Inmon 将 数据 仓库 明确 定 
义 如 下 [Inmon 1992]: 

数据 仓库 (Data Warehouse) 是 面向 主题 的 、 集 成 的 、 内 容 相对 稳定 的 、 不 同时 间 的 数据 
集合 ， 用 以 支持 经 营 管理 中 的 决策 制定 过 程 。 
数据 仓库 收集 存 于 不 同 数据 源 中 的 数据 ， 将 这 些 分 散 的 数据 集中 到 一 个 更 大 的 库 中 ， 最 
终 用 户 从 数据 仓库 中 进行 查询 和 数据 分 析 。 数 据 仓 库 中 的 数据 应 是 恨 好 定义 的 、 一 致 的 、 不 
变 的 ， 数 据 量 也 应 足够 支持 数据 分 析 、 查 询 、 报 表 生 成 和 与 长 期 积累 的 历史 数据 的 对 比 。 数 
据 仓 库 是 一 个 决策 支持 环境 ， 通 过 数据 的 组 织 给 决策 支持 者 提供 分 布 的 、 跨 平台 的 数据 ， 使 
用 过 程 中 可 忽略 许多 技术 细节 。 
在 数据 仓库 的 基础 之 上 ， 可 建立 多 种 分 析 决 策 工具 ， 如 OLAP〔 在 线 分 析 处 理 ) 和 数据 挖 
据 工 具 等 ， 以 提供 各 种 决策 支持 服务 。 

数据 仓库 有 四 个 基本 特征 : 数据 仓库 的 数据 是 面向 主题 的 ， 数 据 仓 库 的 数据 是 集成 的 ; 
数据 仓库 的 数据 是 不 可 更 新 的 ， 数 据 仓库 的 数据 是 随时 间 不 断 变化 的 。 

(1) 数据 仓库 中 的 数据 是 面向 主题 的 。 

这 是 与 传统 数据 库 面向 应 用 相对 应 的 。 主 题 是 一 个 在 较 高 层次 将 数据 归 类 的 标准 ， 每 一 
个 主题 基本 对 应 一 个 宏观 的 分 析 领 域 。 比 如 ， 一 个 保险 公司 的 数据 仓库 所 组 织 的 主题 可 能 头 
客户 ， 政 策 ， 保 险 金 ， 索 赔 。 而 按 应 用 来 组 织 则 可 能 是 : 汽车 保险 ， 生 命 保 险 ， 健 康 保险 ， 
伤亡 保险 。 基 于 主题 组 织 的 数据 被 划分 为 各 自 独立 的 领域 ， 每 个 领域 有 自己 的 逻辑 内 涵 互 不 
交叉 。 主 题 域 是 独立 和 完备 的 ， 适 用 于 分 析 型 的 应 用 。 而 基于 应 用 的 数据 组 织 则 完全 不 同 ， 
它 的 数据 只 是 为 处 理 具体 应 用 而 组 织 在 一 起 的 。 应 用 是 客观 世界 既定 的 ， 它 对 于 数据 内 容 的 
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划分 未 必 适 


j 于 分 析 所 需 。 


Q) 数据 仓库 的 数据 是 集成 的 。 
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最 复杂 
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E， 要 统一 原始 数据 




















、 字 长 不 一 致 等 等 ， 还 要 进行 数据 综合 和 计算 ， 
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面向 应 





TESTE 




















数据 仓库 





各 主 题 的 转变 。 
(3) 数据 仓库 的 数据 是 稳定 的 。 
的 数据 主要 供 决策 分 析 之 用 ， 所 涉及 的 操作 主要 是 数据 查询 ， 一 般 不 进行 修改 











在 数据 进入 数据 仓库 之 前 ， 必 然 要 经 过 加 工 与 集成 。 这 一 步 实际 上 是 数据 仓库 建设 中 最 














PF 的 所 有 矛盾 之 处 ， 如 字段 的 同名 异 义 、 异 名 
总 之 要 将 原 





始 数据 结构 做 


操作 。 数 据 仓库 的 数据 反映 的 是 一 段 相当 长 的 时 间 内 历史 数据 的 内 容 ， 是 不 同时 间 点 的 数据 
库 快 照 的 集合 ， 以 及 基于 这 些 快照 进行 统计 、 综 合 和 重组 的 导出 数据 ， 而 不 是 联机 处 理 的 数 








据 。 





























(4) 数据 仓库 的 数据 又 是 随时 间 不 断 变化 的 。 





数据 仓库 的 数据 不 是 实时 更 3 
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从 信息 技术 的 观点 来 看 ， 数 据 仓 库 关 心 的 是 在 一 个 组 织 机 构 中 将 适当 
这 是 一 个 正在 进行 的 过 程 ， 





的 个 人 手中 。 



































足 面向 事务 系统 姑 
数据 仓库 是 数据 的 集合 ， 以 对 到 











的 管理 





F 发 工作 的 需求 。 























折 的 ， 但 并 不 是 永远 不 变 的 ， 也 要 随 着 时 
它 表 现在 以 下 儿 个 方面 ， 首先， 数据 仓库 内 的 数据 
和 型 环境 中 的 数据 时 限 。 数 据 仓库 保存 数据 时 限 较 长 是 为 了 适应 DSS 进行 趋势 分 析 的 要 求 。 
其 次 ， 操 作 型 环境 包含 当前 数据 ， 即 在 存 取 一 刹那 是 正确 、 有 效 的 数据 ;而 数据 仓库 中 的 数 
据 都 是 历史 数据 。 最 后 ， 数 据 仓库 数据 的 码 键 都 包含 时 间 项 ， 从 而 标明 了 该 数据 的 历史 
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不 是 以 前 的 解决 方案 ， 并 








需要 不 


























Bb 些 面向 主题 的 、 集 成 的 、 时 间 不 
工作 给 以 支持 。 数 据 仓库 关注 的 是 概念 (如 销售 )， 而 不 是 过 程 ( 如 提供 发 票 )。 它 包 
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变化 不 断 地 更 
要 远 远 长 于 操 











时 期 。 
县 传送 到 适当 
同 的 方法 以 满 








易 失 性 的 决策 





括 从 多 种 处 理 系统 收集 到 的 有 关 某 一 概念 的 所 有 相关 信息 。 信 息 进行 定期 收集 和 存储 ， 并 且 








是 相对 稳定 的 。 











通过 一 致命 名 约定 、 测 量 、4 








7) E Jr 











性 和 语义 ， 数 据 仓库 对 操作 数据 进行 集 




















库 物 理 设计 的 第 一 步 是 确定 应 包括 哪些 主题 领域 ， 并 开发 一 套 意见 





见 最 终 用 户 、 分 析 员 、 高 级 管 型 
数据 仓库 之 前 ， 必 须 对 











处 理 转 化 成 物 到 




















数据 预 处 理 的 音 





据 立 方 体 。 数 据 仓库 主题 按 星 型 模式 建 模 ， 在 此 基础 之 上 实现 多 
加 任务 提供 经 过 适当 预 处 到 
整个 数据 仓库 ， 包 括 数据 的 





操作 ， 并 为 数据 控 和 
有 具 显示 ， 或 以 报表 的 形式 输出 。 











MSMiner 中 通过 数据 仓库 管理 器 为 数据 挖掘 工 具 提供 数据 平台 
和 维护 数据 仓库 ， 为 数据 挖掘 提供 经 过 清洗 、 整 合 、 
分 任务 。 
MSMiner 数据 仓库 中 的 数据 按 主 题 组 织 ， 主 题 





EAD, 




















相关 问题 有 彻底 的 了 解 。 



































致 的 定义 


其 





成 。 在 数据 仓 
集 。 这 需要 约 








以 了 解 所 需 信息 的 范围 ， 并 给 出 相应 文档 。 在 将 逻辑 

















主要 目 


7 ON 


























数据 来 管理 和 维护 。 


13.6.2 MSMiner 数据 仓库 的 基本 结构 


MSMiner 数据 仓库 主要 包括 以 下 四 个 功能 模块 ， 数据 抽取 和 集成 模块 、 主 题 组 织 模块 、 
OLAP 及 可 视 化 模块 。 
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取 和 集成 模块 是 MSMiner 数据 仓库 中 的 一 个 
据 源 中 抽取 数据 ， 并 集成 到 主题 的 各 种 综合 数据 表 中 。 模 块 通过 OLE DB for ODBC 接口 

















FPF 包含 多 个 事实 
数据 立方 体 和 各 种 OLAP 


表 、 维 表 、 




















E 和 良好 组 织 的 数据 源 ， 最 后 结果 可 1 
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by IEEE vr. 


转换 的 数据 来 源 ， 完 成 数据 挖掘 过 程 中 


中 间 表 以 及 数 














可 视 化 工 
均 通 过 元 











Af 
C? 

















E 常 重要 的 组 成 部 分 ， 负 责 从 外 部 数 





与 各 


TBRXGRAUSEPEXYEBR. f 
的 清洗 、 聚 集 、 转 换 处 理 后 
主题 组 织 模块 负责 星 型 模型 的 组 织 和 对 
OLAP 模块 负责 在 星 





作 。 





<r 





















































取 数 据 时 选取 合适 的 数据 源 ， 指 定 它 所 在 的 数据 库 和 表 ， 经 过 一 定 
， 将 数据 集成 到 数据 仓库 中 的 各 种 目标 表 中 。 


























山中 



























































可 视 化 模块 提供 多 种 可 视 化 手段 ， 通 过 各 利 








有 实 表 、 维 表 和 中 间 表 的 管理 。 
型 模式 的 基础 上 建立 数据 了 立方体， 实现 各 种 多 维 数据 分 析 和 查询 操 
























































MSMiner 数据 仓库 的 结构 示意 图 如 图 13.6 所 示 。 


数据 采 握 集成 工具 





OLAP 及 可 视 化 工具 









































外 部 数据 














图 13.6 MSMiner 数据 仓库 结构 示意 图 


























Fh 三 维 及 二 维 图 表 等 直观 地 显示 数据 ， 并 专门 


十 对 各 种 数据 挖 据 算 法 ， 提 供 相 应 的 可 视 化 手段 表示 数据 挖 据 的 结果 。 





目前 多 数 数 据 仓库 都 在 传统 的 关系 型 数据 库 管 理 系统 RDBMS 上 实现 。 建 立 在 关系 型 数 

















据 库 上 可 利 月 





性 和 综合 性 数 











Hi, X 





昌 各 种 已 有 的 成 熟 的 数据 库 技术 ， 使 数 

































































术 途 径 ， 以 改进 数据 仓库 的 数据 库 解 决 方案 ， 例 如 : 


根据 MSMiner 的 设计 目标 ， 我 1 
数据 仓库 的 构建 仍 是 基于 传统 的 关系 型 数据 库 管 到 


FEF F 


EF 行 计 














使 














ea 

















ft 5 OLAP 技术 紧密 集成 。 











Server 7.0 DBMS 实现 。 


Microsoft SQL Server 7.0 提供 了 许多 文 持 数据 仓库 的 特性 , 例 
等 。 即 将 发 布 的 SQL Server 2000 更 是 增加 了 许多 先进 的 功能 ， 包 括 一 套 完全 的 数据 库 和 数据 
分 析 解 决 方案 ， 一 个 新 的 集成 的 数据 挖掘 引擎 等 。MSMiner 的 进 





党 平台 的 并 行 关系 型 数据 库 。 
新 的 索引 技术 提高 传统 RDBMS 的 性 能 。 
基于 专门 的 数据 库 技术 或 已 熟知 的 RDBMS 的 多 给 





门 更 注重 实现 数据 仓库 的 易 





















































据 仓 库 的 构建 更 加 便捷 有 效 。 但 传统 的 
RDBMS 实现 往往 是 为 事务 型 数据 处 理 做 优化 的 ， 数 据 仓库 的 很 多 特性 ， 例 如 处 理 大 规模 历史 
活 的 多 维 数据 查询 等 ， 会 因此 受到 限制 。 现 在 已 经 出 现 了 多 种 不 同 的 技 


























数据 库 MDDB 。 这 种 解决 方案 往 





性 和 集成 性 ， 所 以 MSMiner 



































系统 ， 其 核心 数据 库 由 Microsoft SQL 


如 功能 强大 的 OLAP 服务 器 
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步 工作 将 充分 利用 这 些 有 
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用 的 特性 ， 增 强 系统 功能 。 
MSMiner 数据 仓库 的 具体 实现 包含 多 个 数据 库 ， 这 些 数据 库 分 为 两 类 : 其 














为 元 数据 库 ， 专 门 存储 各 种 元 数据 表 ; H 








种 综合 数据 表 。 


MSMiner 的 外 部 数据 源 也 主要 是 各 种 关系 型 数据 库 。MSMiner 通过 OLE DB for ODBC 接口 
接 ， 包 括 Oracle. Sybase. Microsoft 等 众多 厂商 的 大 型 数据 
HE. OLE DB 定义 了 一 个 COM 接 





可 与 各 种 流行 的 数据 库 产 品 连 ] 
库 系 统 和 小 型 的 桌面 数据 库 产 品 ， 保 证 了 系统 
它 封 装 了 各 种 数据 库 管理 系统 服务 。 这 些 接口 允许 创建 实现 这 些 服务 的 软件 组 件 。 











件 包括 数据 提供 者 











组 件 














向 市 场 。 另 外 ， 


提供 持续 支持 成 为 可 能 。 


MSMiner 也 可 从 多 种 数据 文人 
外 部 数据 源 将 主要 指 各 利 


13.6.3 主题 





它们 存储 和 发 布 数据 )、 数 据 
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中 一 个 数据 库 





他 数据 库 为 主题 数据 库 ， 分 别 存储 各 个 主题 中 的 各 





2 





的 集合 ， 
OLE DB 组 














户 (它们 使 用 数据 》 和 服务 组 件 ( 它 们 处 
理 和 传输 数据 )。0LE DB 接口 用 来 平滑 地 集成 组 件 ， 以 便 供 货 商 能 迅速 地 将 高 质量 的 OLE DB 
OLE DB 包括 连接 ODBC 的 桥梁 ， 这 使 得 对 现在 大 量 的 ODBC 关系 数据 库 








F 中 获取 数据 ， 并 将 实现 Web 数据 的 获取 。 本 文 以 下 所 指 的 
关系 型 数据 库 。 


MSMiner 数据 仓库 以 主题 (Subject) 为 基本 组 成 单位 。 一 个 主题 存储 在 一 个 SQL Server 
数据 库 中 。 每 个 主题 包含 多 个 事实 表 、 维 表 、 中 间 表 以 及 数据 立方 体 ， 它 们 在 本 质 上 都 是 一 



































些 综合 数据 表 。 用 户 根据 需要 ， 通 过 数据 抽取 模块 ， 从 外 间 











清洗 、 聚 集 和 转换 处 到 




















了 数据 源 中 
后 ， 将 数据 集成 到 数据 仓库 主题 的 各 个 表 中 。 

















| 取 数 据 ， 并 经 过 各 利 




















事实 表 (Fact) 存储 用 户 需 要 查询 分 析 的 数据 ， 主 题 的 主要 内 容 就 在 事实 表 中 体现 。 事 实 














Amp Bas et 














维 代 表 了 














] 户 观察 数据 的 特定 视 
为 不 同 的 层次 来 取 值 ， 如 时 间 维 的 值 可 按 年 份 、 





E (Dimension) 和 度量 (Measurement). 
XE, PE ane 
月 份 来 划分 ， 描 述 了 不 同 的 查询 








4, dp: 时 间 维 、 


季度 、 


地 
































^2 


E up Xl) 


NEN 
等 。 每 





























度量 是 数据 的 实际 意义 ， 









































量 的 实际 数据 存放 在 事实 表 中 。 维 上 











X. 
表 中 存储 ， 事 实 表 








种 星 型 模型 ， 在 此 基 而 





Pp 存放 各 



































结果 也 可 存放 在 中 间 表 中 。 








表 关 联 的 星 型 模型 ， 


数据 立方 体 (Data Cube) 是 一 个 多 维 的 数据 阵列 结构 ， 
在 MSMiner 的 实现 中 ， 数 据 立方 体 实 际 上 是 一 种 逻辑 概念 结构 ， 它 的 实现 是 基于 事实 表 和 维 
体 体现 为 主题 中 的 一 张 表 。 通 过 在 主题 中 选取 所 需 的 数据 维和 度量 ， 









































的 详细 信息 ， 如 不 同 的 
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EHRE 


层次 划分 和 相应 数据 等 在 维 
E 表 将 通过 这 些 键 关 联 起 来 ， 构 成 
1 上 构成 数据 立方 体 并 实现 OLAP 操作 。 

中 间 表 是 一 种 面向 数据 挖掘 任务 的 综合 数据 表 。 特 定 的 数据 挖掘 人 
经 过 一 定 预 处 理 的 整合 数据 ， 这 些 数 据 存放 在 中 间 表 中 ， 供 数据 挖 





加 任务 使 








EX. 

















述 数据 “是 什么 ” 即 一 个 数值 的 测量 指标 ， 如 : 人 数 、 单 价 、 


























FE 务 往往 需要 特定 的 、 


j。 数 据 挖掘 的 


























E OLAP 操作 的 基础 。 


















































生成 描述 星 型 模型 关联 信息 的 元 数据 表 ， 数 据 立 方 体 就 是 该 表 的 逻辑 抽象 。 


13.6.4 数据 抽取 和 集成 


数据 仓库 中 的 数据 是 集 
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成 的 ， 是 从 原 有 的 分 散 的 数据 库 中 








WH 


8 来 的 。 在 各 个 源 数 据 库 
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中 的 操作 型 数据 和 数据 仓库 中 的 分 析 型 数据 有 很 大 差别 ， 数 据 仓 库 中 的 数据 不 能 从 原 有 的 数 








据 库 系统 中 直接 得 到 ， 必 须要 经 过 清洗 、 


复杂 的 一 步 。 所 要 完成 的 工作 有 : 
m 在 各 个 分 散 的 数据 库 系 统 中 的 源 数据 往 
据 中 的 所 有 矛盾 之 处 ， 如 字段 的 同名 蜡 义 、 异 名 同 义 、 单 位 不 统 


掘 的 数据 预 处 理 。 


MSMiner 提供 专门 的 数据 
主题 后 进行 ， 主 要 为 事实 表 、 维 表 和 数据 挖掘 中 间 
数据 的 简单 






































聚集 和 转换 。 这 是 建设 数据 仓库 过 程 中 非常 关键 而 








BE 























主 有 很 多 重复 或 不 一 致 的 地 方 ， 要 统一 源 数 


下 








SR 致 等 。 


w 得 到 数据 仓库 中 的 综合 数据 ， 需 要 将 原始 数据 结构 做 一 个 从 面向 应 用 到 面向 主题 的 
转化 ， 进 行 必要 的 数据 综合 和 计算 。 



























































模块 主要 提供 三 个 层次 的 功能 : 





13.6.4.1 数据 的 简单 抽取 和 集成 








在 进行 数据 

















! 取 和 集成 模块 来 完成 上 述 工作 。 数 据 
表 的 生成 提供 整合 数据 。 
| 取 和 集成 ， 数 据 的 复杂 人 处理 和 面向 数据 挖 












































| 取 和 集成 工作 在 建立 











] 取 工作 之 前 ， 必 须 先 注册 外 部 数据 源 。 这 里 的 外 部 数据 源 主 要 是 各 种 关系 





型 数据 库 ， 系 统 通过 OLE DB for ODBC 接口 与 这 些 数据 源 连 接 ， 并 将 数据 源 的 详细 信息 注册 
在 元 数据 中 。 这 些 信 息 包括 外 部 数据 库 的 ODBC 连接 参数 ， 数 据 表 信息 以 及 各 个 表 中 的 字段 


2s Ate 
信息 等 。 


从 






































抽取 数据 时 ， 以 数据 表 为 基本 存储 单 














1， 指 定数 据 源 表 及 目标 表 。 数 据 源 表 可 























位 ， 抽 取 步 又 如 下 : 








主题 中 新 建 ， 表 的 结构 根据 以 下 字段 定义 步骤 决定 。 

















2， 定 义 目标 表 中 的 字段 及 数据 来 源 。 上 具体 包括 以 下 几 个 步 又: 








(a) 从 数据 源 表 中 选取 一 个 或 多 个 源 字 段 。 
(b) 为 源 字段 指定 简单 数据 集成 操作 , 包括 各 种 数学 运算 、 



































以 是 不 同 的 多 个 表 , 目标 表 根 据 用 户 命名 在 指定 








(c) 指定 目标 字段 名 。 目 标 字 段 的 类 型 、 


3. 重复 步骤 2， 直至 所 需 的 字段 选 了 
4， 指 定数 据 源 表 之 间 的 关联 ， 设 置 














指定 主题 的 目标 表 中 。 











区 和 定义 























RE. KES! 


Po 
完毕 。 























日 期 运算 、 字 符 串 操作 等 。 
源 字段 及 集成 操作 决定 。 























OrderBy 和 GroupBy 等 参数 ， 加 入 其 他 抽取 条 件 等 。 
5. 根据 以 上 定义 ， 动 态 生 成 数据 抽取 SQL 语句 ， 从 源 数据 库 中 将 数据 








| 取 到 数据 仓库 








例如 ， 位 于 外 部 服务 器 Billy 上 的 SQL Server 数据 库 TaxData 为 已 注册 外 部 数据 库 ， 我 们 








中 的 数据 表 Tax 和 TaxDate 中 抽取 数据 ， 在 数据 仓库 中 生成 事实 表 Fact1, 如 图 13.7 所 示 。 
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a 添加 事实 表 Xx! 


EZ: C 


TRAE : RFR.: Bi EE. 


[ax ata E | x yearofdate 
x monthofdate 
新 增 | immes 





RE.: 


















m. 事实 表 字 息 定 义 LX 
Taxpayer RIRE. 
SERE : 

mig ^ — | 
TAX. datelD=T axD ate. tlic 

类 别 : (C Dimension @ Measurement 


f@ Asc C Desc 


厂 Primary Key — [ Nullable 
AiR NM : 


字段 名 : [TAX mri & AS nns = 
TAX. class F 
确定 | BK | 
加 A 入 BND 条 储 | 






列 出 所 有 全 | 


m" 
A 


TAX.class = Y" 
| zd 


确定 | Rud | 


图 13.7 数据 抽取 和 集成 





定义 四 个 目标 字段 分 别 为 : 



































度量 : ”加 成 率 [TAX. 加 成 率 AS 加 成 率 ] 

度量 : ”负担 率 [TAX. 负 担 率 AS 负担 率 ] 

维 : yearofdate [Year(TA XDate.date) AS yearofdate] 

维 : monthofdate [Month(TAXDate.date) AS monthofdate] 
设置 数据 源 表 之 间 的 关联 为 : 

TAX.taxID=TaxDate.dateID 

加 入 抽取 条 件 : 

TAX.class = 'Y' 








最 后 系统 将 生成 如 下 SQL 语句 ， 生 成 新 的 事实 表 并 完成 数据 抽取 : 
SELECT DISTINCT TAX. 加 成 率 AS 加 成 率 ， 


INTO 











TAX .负担 率 AS 负担 率 ， 
Year(TA XDate.date) AS yearofdate, 
Month(TA XDate.date) AS monthofdate 
Factl 


FROM . Billy.TaxData.dbo. TAX AS TAX JOIN 


Billy.TaxData.dbo. TAXDate AS TAXDate ON 
TAX.dateID=TaxDate.dateID 
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WHERE TAX.class = 'Y' 











目前 的 系统 实现 要 求 对 于 每 次 数据 抽取 ， 各 源 数 据 表 必须 在 同一 个 数据 库 中 。 如 果 要 求 














跨 数据 源 








张 目标 表 。 


12.5.3.2 数据 的 复杂 处 理 


数据 的 简单 抽取 和 集成 功能 已 基本 能 满足 系统 大 部 分 需要 ， 但 对 
误 数据 以 及 复杂 的 数据 集成 ， 往 往 无 法 用 一 句 SQL 语句 完成 ， 需 要 更 进 


统 提供 复杂 数据 处 到 















































| 取 数 据 ， 可 以 先 为 不 同 的 数据 源 生 成 若干 个 临时 表 或 视图 
图 整合 为 一 





， 再 将 这 些 临 时 表 或 视 


于 各 种 不 一 致 数据 、 错 




















在 数据 : 

















! 取 和 集成 模块 中 ，] 








] 户 定义 并 进行 简单 数据 














一 步 处 理 。 

















系统 提供 专门 接 





， | 




















语句 可 以 有 一 名 或 多 句 ，| 
成 复杂 数据 处 理 

上 述 所 有 数据 抽取 和 集成 处 理 操作 都 将 存 入 元 数据 统一 管理 。 
|， 系统 将 根据 元 数据 中 记录 的 数据 抽取 和 集成 操作 

















进行 数据 更 新 时 





























功能 ， 以 完成 各 种 数据 清洗 、 转 换 和 复杂 集成 了 



































系统 自动 控 














任务 。 











取 和 集成 工作 。 





需要 指出 的 是 ， 上 述 各 种 数据 抽取 和 处 到 
的 具体 工作 以 及 各 个 步骤 的 处 理 顺 序 依赖 于 所 
上述 的 处 理工 作 ， 基 本 上 已 经 能 够 满足 绝 大 骨 
将 是 非常 复杂 和 多 样 的， 数据 和 
通过 上 述 的 步骤 可 能 仍然 难以 处 型 
动 地 直接 对 表 的 格式 和 数据 进行 更 进一步 的 处 到 





经 过 .| 




















据 中 体现 。 
































pa 


或 














步 的 工作 。 所 以 系 


[ 作 。 

I 取 后 ， 可 对 生成 的 数据 表 进 行进 
用 户 针 对 特殊 的 转换 处 理 编写 专门 的 SQL 语句 ， 这 种 处 理 
剖 顺 序 执行 ， 经 一 系列 视 

















JG 











临时 表 的 转换 之 后 ， 





重新 抽取 数据 ， 或 


ae 
Tir 





M 
步 




































































取 和 集成 工作 也 会 4H 














12.5.3.3 面向 数据 挖掘 的 数据 预 处理 




















要 
5, 


依次 完成 数据 的 抽 





步骤 的 顺序 并 不 是 一 定 的 ， 各 个 步骤 所 要 完成 
! 取 和 处 理 的 数据 的 特性 。 

















分 数据 处 理 需 求 ， 但 我 们 面临 的 数据 
时 现 多 种 多 样 的 复杂 ! 
E。 这 时 ， 我 们 将 提供 对 数据 表 的 直接 编辑 界面 ，| 








青 况 ， 对 于 有 些 情 况 
HEF 


























工作 。 这 种 对 数据 表 的 直接 修改 将 不 在 元 数 

















MSMiner 数据 仓库 的 一 个 主要 的 设计 目标 是 为 数据 挖 据 提 供 适 当 数 据 。 很 多 数据 挖掘 任 


务 需 要 符合 某 种 格式 ， 并 上 








经 过 适当 预 处 理 的 数据 。 为 此 数据 














数据 预 处 


IUBE. 








如 果 


N 


ATP 























『 面 的 数据 抽取 和 集成 得 到 




















些 特殊 的 预 处 理 ， 
得 到 所 需 的 数据 。 如 利用 粗糙 集 算法 对 属性 集 进行 约 








那么 可 以 在 数据 挖掘 算 


























一 种 数据 








Azi Ate 
[H] SF o 

















| 取 和 集成 规则 存 入 元 数据 中 。 











这 里 的 数据 预 处 理 ] 





























在 数据 
































据 预 处 理 


的 复杂 程度 和 从 














功能 相当 于 数据 挖掘 任务 9 
取 和 集成 的 过 程 中 ， 而 在 数据 挖 和 
4 况 的 需要 而 定 。 






































13.6.5 数据 抽取 和 集成 的 元 数据 


数据 的 清洗 、 转 换 和 整合 工作 ， 需 通过 建立 完备 的 元 数据 来 进行 管理 。 建 立 数据 仓库 ， 





























进行 数据 














| 取 和 集成 时 ， 生 成 各 种 数据 
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的 数据 仍 不 能 满足 数据 挖掘 的 
法 库 中 选择 适当 的 算法 ， 对 数据 进行 深层 次 的 处 理 ， 
数据 预 处 理 所 


一 个 简化 的 步骤 。 实 际 上 ， 
时 任务 的 步骤 之 中 进行 数据 预 处 理工 





! 取 和 集成 模块 提供 了 专门 的 


SE aE 
需要 ， T 


进一步 做 某 






































j 的 算法 同样 作为 

















j 户 也 可 以 不 


(在 


FE。 具体 视 数 























| 取 和 处 理 规则 ， 并 存储 在 元 数据 中 ， 数 据 仓 库 的 数 
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DEI 

















这 些 数 据 抽取 和 处 理 规 贝 
元 数据 类 CTable 和 CField 来 管理 。 这 两 个 元 数据 类 


CTable 

{ 

Attributes: 
TableID 
TableName 
TableType 


DatabaseID 
Fileds 
SQLSentence 
AlgorithmID 
Remark 
Methods: 
Update() 





元 数据 类 CTable 中 






































表 的 标识 ID 
RA 





表 的 类 别 〈( 事 实 表 、 


分 布 在 描述 数据 仓库 各 个 表 及 其 字段 信息 的 元 数据 中 ， 


的 定义 如 下 : 








AW 
7 


、 中 间 表 或 














外 部 数据 源 表 ) 
所 属 数据 库 ID 











该 表 所 包含 的 字段 集合 








数据 抽取 SQL 语句 
用 于 数据 预 处 班 











的 算法 ID 








表 的 说 明 


的 Fields 是 元 数据 集合 类 CFieldS 的 对 象 实例 ， 











类 CField 的 对 象 实例 的 集合 ， 


From. Join, Where. OrderBy. GroupBy 
SQL 抽取 语句 的 各 有 关 音 
分 定义 结合 各 字段 的 数据 来 源 定义 共同 拼合 4 
多 个 SQL 语句 ， 此 时 上 面 
AlgorithmID 记录 了 进行 面 癌 数 据 挖 所 






































dS 
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法 库 中 ， 并 在 元 数据 9 

CField 

{ 

Attributes: 
FieldID 
FieldName 
TableID 
FieldType 
Source 
Remark 

Methods: 
GetTableInfo() 
Update() 

} 


Hy 





记录 所 





























羊 细 注册 。 





字段 ID 
字段 名 
所 属 表 ID 
字段 数据 类 型 





述 数据 表 包 含 
等 分 另 
了 分 的 定义 。SQLSentence 记录 了 完整 的 SQL 4i 
成。 对 于 复杂 数据 抽取 ，SQLSentence 可 
各 个 子 部 分 的 定义 无 效 。 
时 的 数据 预 处 理 时 所 用 算法 的 D, f 





| 取 和 更 新 都 将 在 这 些 元 数据 的 指导 下 进行 ， 并 根据 决策 需求 的 变化 及 时 维护 和 更 新 这 些 
元 数据 。 








iua 
5 














的 字段 的 详细 信息 。 












































字段 的 数据 来 源 定义 





字段 的 说 明 





获得 所 属 表 的 详细 信息 
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0000 


Wie S EX BRE IU B, 
取 语 多， 由 以 上 各 部 

















中 包含 元 数据 个 体 











以 生成 











能 包含 





法 存储 在 数据 挖 























元 数据 类 CField 中 的 Source 属性 记录 了 该 字段 的 详 
单 集成 操作 定义 。 
通过 CTable 和 CField 元 数据 类 ， 
详细 的 数据 























取信 息 。 








数据 的 和 


细 定 义 ， 

















以 详细 注册 数据 仓库 ， 





a 
"n 









































13.6.6 数据 仓库 建 模 及 OLAP 的 实现 


13.6.6.1 星 型 模型 


MSMiner 数据 仓库 按 员 














表 。 


个 主题 。 图 13.8 





以 


个 事实 表 为 中 心 ， 








ES 
显示 J 


|73 





RAE A 











关联 多 个 维 表 ， 构 成 一 个 星 下 
星 型 模型 。 





JR. 





J 








MSMiner Zi FE! 
.用 户 指定 主题 名 



































micat 











星 型 模型 





图 13.8 

















创建 主题 


并 建立 星 型 模型 的 步骤 如 下 : 








称 和 其 他 说 明 信 息 ， 系 统 生 
Ef PR, 即 主题 对 应 数据 库 中 不 含 人 








表 和 事实 表 ， 








并 建立 星 型 模型 。 
， 选 择 适 当 的 数据 源 ， 调 


和 取 值 等 信息 。 每 个 维 


























用 数据 抽取 和 集成 模 莫 
表 中 必须 包含 一 个 标识 





























.在 生成 多 个 维 





表 之 后 ， 




















于 调用 数据 和 














各 个 表 及 其 
| 取 和 更 新 主要 通过 这 两 个 元 数据 类 来 维护 。 


， 生 成 多 个 
! 码 键 作为 主键 。 
取 和 集成 模块 ， 从 适当 的 数据 源 


包含 了 数据 来 源 字段 及 其 


Ses 


简 


























多 个 星 


号 
客户 名 称 
客户 地 址 


时 间 表 


时 间 标识 
月 

季度 

年 














LPR LLB 





字段 的 定义 ， 以 及 


型 模型 (Star Schema) 建 模 。 每 个 主题 中 包含 多 个 事实 表 和 维 
型 结构 共同 组 成 了 一 


成 一 个 空 主题 及 相应 的 数据 库 ， 此 时 主题 
F 何 数据 表 。) 





逐步 步 生 成 维 








2 

















EX. YER 











= 


包含 维 的 层次 











Hj 








| 取 数 据 生成 























事实 表 。 每 个 事实 表 中 











包含 多 个 维 字段 和 度量 字段 。 度 1 
































的 数据 。 每 个 维 


构成 一 个 星 型 





字段 与 











LAY 


iJ 


13.6.6.2 数据 立方 体 


数据 立方 体 (Data Cube) 是 将 数据 按 多 个 维度 组 织 形成 的 一 种 多 维 








量 字 段 包含 将 要 实际 分 析 使 用 





个 维 表 中 的 标识 码 键 相关 联 ， 从 而 使 多 个 维 
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表 与 事实 表 关 





联 

















HJ REEL 
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地 从 各 个 角度 进行 切片 、 旋 转 等 操作 ， 获 得 所 需 的 数据 。 如 
5 OLAP 在 关系 型 数据 表 上 实现 ， 即 采用 





MSMiner [| 
多 个 维 表 的 星 型 
种 OLAP 操作 请 求 将 通过 一 个 ROLAP 5 
ERR) 中 进行 查询 得 到 结果 


FH 
AN o 









































AR 

















结构 之 上 模拟 多 维 数据 立方 体 ， 然 后 在 数据 立方 体 之 上 实现 OLAP 操作 。 各 
擎 动态 翻译 成 SQL 语句 ， 在 数据 仓库 ， 





Z] 








12.8 所 示 。 
ROLAP 方式 。 在 主题 中 事实 表 关 联 





















































的 综合 数据 
























































较 困 难 ， 因 此 我 们 采用 一 种 二 名 
作 。 数 据 立 方 体 中 的 维 都 被 划分 到 行 名 


中 显示 本 















































EUR 


时 间 





于 数据 立方 体 在 表现 上 缺乏 直观 性 ， 尤 其 当 维度 超出 三 维 后 ， 数 据 的 采集 和 表示 都 比 
E 表 的 结构 来 表示 整个 数据 立方 体 ， 并 在 此 之 
或 列 维 两 种 维度 中 去 ， 在 行 维和 列 维 
日 应 的 度量 数据 ， 实 现 以 二 维 表格 反映 多 绢 


上 进行 OLAP 操 
交织 成 的 二 维 表 





























EE 特征 ， 提 供 数 据 立 方 体 的 可 





视 化 表示 。 











[XI 





图 13.9 ”数据 立方 体 





数据 立方 体 的 建 并 步 又 如 下 : 

1， 从 指定 主题 中 选择 一 个 事实 表 。 
2， 从 事实 表 中 选择 若干 个 维和 度量 。 
维 必 须 被 指定 为 行 维 或 者 列 维 。 如 
个 子 维 先入， 





















































sent 
以 实现 向 上 综合 和 向 下 钻 取 功能 。 








Ld 
LJ. 





用 户 的 兴趣 往往 不 仅 在 于 获得 

















有 的 数据 ,还 希望 


指定 菜 种 运算 操作 ， 如 求 和 、 均 值 、 极 值 等 。 





3. 生成 数据 立方 体 。 
X 13.1 是 





个 最 利 额 关 于 时 间 维 、 产 品类 型 








全 包含 多 个 层次 , 它 的 各 个 层次 也 可 作为 多 








够 得 。 因 此 对 度量 需 





eu 
He 



































包括 两 个 细节 项 : (1995, 1996), FF 





T SK AY 28 











EERS 





HZR EA 








点 维 包 括 四 个 细节 项 : (East, West, North, South). 6 





企 和 销售 地 区 维 的 简单 OLAP 示例 。 时 间 维 











个 细 





节 项 : (Software, Hardware)， 而 销售 
后 的 关系 型 数据 表 有 如 下 信息 : 







































































表 13.1 赢利 额 
Time Division Region Revenue 
1995 Hardware East 120 
1995 Hardware West 150 
1995 Hardware North 195 
1995 Hardware South 165 
1996 Hardware East 180 
1996 Hardware West 152 
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1996 Hardware North 215 
1996 Hardware South 190 
1995 Software East 200 
1995 Software West 185 
1995 Software North 130 
1995 Software South 134 
1996 Software East 250 
1996 Software West 204 
1996 Software North 154 
1996 Software South 146 
从 上 表 中 选取 时 间 维 、 产 品类 型 维和 销售 地 区 维 作 为 三 个 维 ， 选 取 赢 利 额 作为 度量 并 对 
顾 利 额 求 和 ， 建 立 数据 立方 体 ， 并 以 二 维 表 形 式 表 示 如 表 13.2。 
X132 二 维 表 
East West North South Total 
1995 120 150 195 165 630 
Hardware 
Software 200 185 130 134 649 
1996 180 152 215 190 737 
Hardware 
Software 250 204 154 146 754 
750 691 694 635 2770 
Total 
在 这 种 以 二 维 表 形式 表示 的 数据 立方 体 上 ， 可 以 方便 地 进行 各 种 多 维 数据 分 析 查 询 操作 。 
如 用 户 可 以 展开 产品 维 ， 查 看 各 个 销售 地 区 1995 年 各 类 产品 的 赢利 额 〈 向 下 钻 取 ); 也 可 以 
合并 产品 维 ， 查 看 各 个 销售 地 区 1995 年 所 有 产品 的 总 万 利 额 ( 向 上 综合 );， 或 改变 查询 角度 ， 
查看 各 类 产品 1995 年 在 所 有 地 区 的 总 赢利 额 〈 旋 转 ) 等 等 。 


MSMiner 提供 了 一 个 良好 的 月 
(Click)、 拖 放 (Drag and Drop) 


























多 种 三 维 或 






































日 户 界 面 以 二 维 表 形 式 显示 数据 立方 体 ， 月 

















等 简单 动作 就 可 以 进行 各 利 

















过 











rpm m e on 














维 图 表 的 可 视 化 方式 显示 结果 。 如 图 13.10 所 示 。 


ww ai bbt. com DOOO000 


昌 户 只 需 通 过 点 
分 析 操 作 ， 并 通过 





而 
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aaa 
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图 13.10 MSMiner 数据 立方 体 及 OLAP 


13.6.6.3 多 维 数据 分 析 


多 维 分 析 是 指 对 以 多 维 形式 组 织 起 来 的 数据 采取 切片 、 切 块 、 旋 转 、 钴 取 等 各 种 分 析 动 

作 ， 以 求 分 析 数 据 ， 使 用 户 能 从 多 个 角度 、 多 侧面 地 观察 数据 库 中 的 数据 ， 从 而 深入 了 解 包 

含 在 数据 中 的 信息 、 内 涵 。 多 维 分 析 的 基本 操作 有 : 

”切片 (Slice)。 在 多 维 数组 的 某 一 维 上 选 定 一 维 成 员 或 选 定 多 维 数组 的 一 个 二 维 子 集 的 动 
作 叫 作 切 片 。 

a Yik (Dice)。 选 定 多 维 数组 的 一 个 三 维 子 集 的 动作 称 为 切 块 。 

m 旋转 (Pivot)。 旋 转 就 是 改变 数据 立方 体 的 维 方向 。 例 如 ， 交 换 两 个 行 维 的 位 置 ， 或 是 把 
某 一 个 行 维 移 到 列 维 中 去 ， 或 是 把 页 面 显示 中 的 一 个 维和 页 面 外 的 维 进行 交换 ( 令 其 成 
为 新 的 行 或 列 中 的 一 个 )。 

e HEKA Roll Up)。 将 数据 综合 到 较 高 的 维 层次 。 

m 相 下 钻 取 (Drill Down)。 将 数据 细 化 至 较 低 的 维 层次 。 

用 户 在 数据 立方 体 的 二 维 表 界 面 上 进行 多 维 数据 分 析 操 作 时 ， 各 种 操作 信息 通过 OLAP 
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引擎 动态 转化 为 SQL 数据 查询 请 求 ， 在 数据 仓库 中 查询 获得 结果 数据 。 
定 所 涉及 的 维 


语句 。 


找到 ， 


小 结 





根据 用 户 操作 ， 确 














具体 实现 步骤 如 下 : 











《分 组 指标 ) 和 度量 〈 统 计 指 标 )。 




















ROLAP 引擎 将 用 户 查询 和 报表 请 求 翻译 成 一 个 或 多 个 SQL 语句 。 

















系统 首先 在 多 维 


























找到 比 它 











对 于 无 法 








在 元 数据 中 查询 有 关 统 计 
层次 低 的 分 组 指标 亦 可 。 
]—^ SQL 语句 生成 的 查询 ， 采 | 





立方 体 的 元 数据 中 查询 有 关 统 计 指 标 和 分 组 指标 的 内 容 ， 生 成 相关 SQL 











指标 和 分 组 指标 的 内 容 时 ， 先 找 统计 指标 ， 分 组 指标 如 没有 
但 这 时 需 再 作 相 关 汇 总 和 计算 。 


用 多 级 数据 绥 冲 临时 表 或 视图 》 















































的 方法 解决 。 























ROLAP 引擎 将 SQL 语句 提交 数据 库 或 数据 仓库 ， 提 取 数 据 后 进行 相应 处 理 
回 给 前 台 显 示 。 




















后 再 将 结果 集 返 




















MSMiner 数据 仓库 以 主题 为 基本 构成 单位 ， 主 题 中 包含 事实 表 、 
MSMiner 数据 仓库 作为 数据 挖掘 人 














和 计算 ， 然 





























维 表 和 各 种 中 间 表 。 
| 取 和 









































: 务 的 数据 平台 ， 提 供 有 效 手段 从 各 种 外 部 数据 源 中 下 











集成 数据 ， 





完成 数据 挖 和 











加 过 程 中 前 期 数据 准备 阶 


段 的 部 分 工作 。 











MSMiner 数据 仓库 同时 提供 了 直观 简便 的 OLAP 工具 ， 以 构建 数据 立方 体 ， 
] 取 和 集成 、 数 据 的 组 织 及 OLAP 的 实现 等 均 由 元 数据 统 

















维 数据 分 析 操 作 。 数 据 的 




















13.7 算法 库 管 理 


算法 是 数据 挖掘 的 核心 部 件 ， 数 据 挖掘 任务 是 
些 算 法 是 可 操作 的 ， 系 统 通 过 元 数据 来 记录 算法 的 
式 ; 其 次 算法 





















































完成 各 种 多 











管理 。 

















AS E BUB ERE § 
TEMLE., Ad 


























法 ， 这 一 方面 增强 了 系统 的 可 移植 性 ， 另 一 方 














i, HA RAD 



































ÍT SORA SEBO; dee HOSMER 
用 算法 。 


13.7.1 数据 挖掘 算法 的 元 数据 

















具有 统一 





的 标准 ， 


法 库 来 实现 的 。 


首先 这 
参数 及 规则 的 表示 形 





应 该 与 系统 平滑 集成 ， 我 们 采用 动态 链接 库 (Dynamical Link Library) 的 形式 骨 
省 了 部 分 内 存 的 开销 (DLL 
以 便 不 同 的 采掘 步骤 能 一 致 地 调 






















































































在 MSMiner 元 数据 中 , 各 种 数据 挖掘 算法 的 详细 信息 主要 通过 元 数据 类 CAlgorithm 来 
述 : 
CAlgorithm 
1 
Attributes: 
AlgorithmID 算法 ID 
AlgorithmName 算法 名 称 
AlgorithmType 算法 类 别 〈 分 类 、 预 测 、 聚 类 等 等 ) 
AlgorithmFile 算法 库 DLL 的 路 径 
AlgorithmFunction 算法 函数 定义 
AlgorithmParas 算法 参数 声明 
Remark 算法 的 说 明 信 息 
SourceTableFormat 源 数 据 表格 式 
TargetTableFormat 目标 数据 表格 式 
Evaluation 对 算法 结果 的 评价 方法 
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Methods: 
Update() 





个 体 类 CAlgorithmPara 的 对 象 实例 的 集合 。 

类 CAlgorithmPara 的 定义 如 下 : 

CAlgorithmPara 

{ 

Attributes: 
AlgorithmID 所 属 的 算法 ID 
ParalD 参数 ID 
ParaName 参数 名 
ParaType 参数 数据 类 型 
ParaNo 参数 序号 
DefaultValue 3j 5 EL 
Max Value 最 大 值 
MinValue 最 小 值 

Methods: 
Update() 

} 




















各 个 算法 的 元 数据 中 包含 对 算法 的 功能 、 
据 挖 气 任 务 模 型 时 ， 任 务 向 导 将 根据 这 些 信息 引导 









































































































































} 
其 中 ，AlgorithmParas 是 元 数据 集合 类 CAlgorithmParaS 的 对 象 实例 ， 其 中 包含 了 元 数据 


j 途 及 使 用 方法 等 信息 的 详细 说 明 。 在 建立 数 
] 户 逐步 选择 合适 的 算法 、 设 置 各 种 参数 ， 


将 算法 的 存储 位 置 、 函 数 接口 定义 、 参 数 设 置 以 及 数据 源 设置 等 信息 传递 给 外 部 调用 函数 ， 





























从 而 实现 算法 的 调用 。 


13.7.2 可 扩展 性 的 实现 











MSMiner 系统 中 各 种 数据 挖掘 核心 算 
记 注 册 。 采 用 DLL 方式 实现 各 数据 挖掘 算法 有 两 个 主要 的 优点 ; 

: 以 DLL 可 执行 代码 实现 的 算法 在 系统 运行 时 动态 载 入 ， 保 训 了 

* DLL 算法 库 独 立 于 MSMiner 系统 而 存在 ， 














用 性 






































MSMiner 系统 提供 专门 的 算法 管理 模块 来 查 
按照 一 定 的 规范 ， 开 发 自己 的 算法 DLL, FEF 






























































eye 
































A Az 






























































法 


到 





管 到 

















FE 了 算法 的 执行 效率 。 
E 护 、 升 级 和 扩展 ， 同 时 具有 良好 的 通 


法 以 动态 链接 库 DLL 的 形式 实现 ,并 在 元 数据 中 登 

















依 护 各 种 算法 的 有 关 信 息 。 用 户 还 可 以 
模块 中 进行 注册 ， 使 数据 挖掘 人 有 


ESS fe 





AE EA ASE, Mat SESE HÉTE. ORE SC RSA AR A BR 




















用 性 。 






























































般 信息 的 注册 和 算法 参数 的 注册 。 其 流程 图 如 图 13.11 所 示 : 
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E 和 通 





j 户 可 在 算法 注册 向 导 的 指导 下 ， 逐 步 完 成 对 新 算法 的 动态 加 载 。 加 载 过 程 包括 算法 一 























D 





去 一 般 信 息 : 














法 名 称 、 

















If (iResultTable>0) 


设置 结果 表格 式 


SE 
y 四 


新 算法 加 入 

















算法 函数 名 称 及 其 位 
End 所 需 源 表 个 数 GSourceTable ) 
下 生 结 果 表 个 数 (iResultTable) 


图 13.11 流程 图 





13.7.3 采掘 算法 的 接口 规范 











HE Js n] 





























够 加 入 新 的 算法 。 
这 门 给 出 约定 ， 





能 全 面 的 数据 挖 
寺 于 有 些 特 定 的 数据 挖掘 任务 











己 的 处 理 











方案 。 

















图 解决 方案 ， 我 们 将 集成 适 月 
， 系 统 提 供 
因此 ， 系 统 必 须 提 供 一 

















1 挖掘 算法 调用 参数 的 格式 


每 个 数据 挖 和 








参数 给 





统一 定 为 (functionName 为 调 ) 


WA. 








执行 相应 的 外 




















用 户 编 写 自 己 的 算法 


时 任务 由 一 个 或 几 个 采 据 步 又 组 成 ， 这些 采 抉 步 
负责 拓扑 排序 ， 按 顺序 方向 执行 每 一 
采掘 算法 ， 由 采掘 算法 


执行 每 一 
E 务 并 返 





J PR BSAA BK): 





functionName(string MetadataCn, Variant stepID) 


说 明 : metadataCn 是 系统 元 数据 的 连接 中 
法 functionName 通过 这 两 个 参数 ， 














2.MetaAlgorithmPara 的 格式 及 记录 组 织 。 


KAY 


























的 算法 将 可 能 难以 有 














日 于 不 同 任 务 的 多 种 数据 挖掘 
往 任 ， 此 时 用 户 往往 希 


























‘`F 











个 开放 的 、 灵 活 

















JI BE 














pup 





又 构成 有 向 图 。 
紧 时 ， 数 据 挖掘 引擎 分 配 相应 的 
回 相应 的 结果 。 采 掘 算法 调用 参数 的 格式 


B, stepID 是 该 算法 对 应 的 采掘 
访问 元 数据 表 metaStepPara 获得 他 需要 的 参数 。 








， 生 成 动态 链接 库 DLL 文件 时 ， 必 须 符合 以 下 








Z] 





数据 挖掘 引擎 





























遇 步 又 的 标示 号 。 


























ParaID ParaName FlagofPara ParaType Para(int,float,s StepID 
(参数 的 标 | (参数 名 称 ) (参数 类 别 | (参数 的 数 | tring )Value (参数 对 应 的 
ANS) 标示 ) 据 类 型 ) (参数 值 ) | 步骤 标示 号 ) 
SourceCN 001 String 
SourceRS 011 String 
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SourceCN2 002 String 其 它 数据 源 链 
接 参 数 

SourceRS2 012 String 其 它 数据 源 

ResultCN 101 String 可 以 缺 省 ， 缺 
省 时 与 001 
SourceCN 4H 
同 

ResultRS 111 String 输出 结果 表 表 
名 

FormatOfResult | 121 String 偷 出 结果 样本 
表 的 表 名 

inputPara 201 不 定 

outputPara 301 不 定 




















参数 类 别 编号 说 明 : 第 一 位 是 特征 位 : 


第 二 位 是 关联 位 : 


第 三 位 是 序号 位 ; 








cc 1 ” --- 75 A. 


“0”---- 源 数据 信息 ， 
“1”---- 结 论 数据 信 | 
“2”--- 精 度 参数 算法 开始 前 设 定 ) 
“3”--- 评 估 参 数 〈 算 法 执行 返 
“0”-- 连 | 





























表 名 


(第 一 位 是 








“2”--- 输 出 结果 样本 表 的 表 名 


表示 此 类 别 参数 的 个 数 


3. 算 法 需 提供 以 下 信息 ， 以 便 在 系统 中 注册 其 参数 信息 。 


。 算 法 文件 名 称 (FileName): 




















。 采掘 算法 
。 函数 序号 EunctionNo): 函数 在 DLL #47 


调 














-e RAT AEW H (Remark): 
。 上 所 需 源 表 个 数 (NumberOfSourceData ): 需要 几 个 表 作 为 数据 源 。 














算法 所 在 的 DLL 文件 的 全 称 ( 含 路 
参数 的 格式 函数 名 称 (FunctionName ); 执行 采掘 算 
函数 中 的 序号 。 




















。 结 果 表 个 数 CNumberOfResult): 算法 的 结果 放 在 儿 个 表 中 。 


“ BARI 








果 表 的 结构 。 


。 输入 参数 GnputPara): XF 
。 输 出 参数 (outputPara): 采 拨 算法 所 返回 
存 。 例 如 ， 在 决策 树 的 测试 算法 中 


单 的 结果 。 











EF 式 /样板 《FormatOfResult): 预先 定义 的 一 种 空 表 ，) 





图 算法 所 要 求 的 参数 ， 如 可 信和 度 ， 




















E GHNE) 





TRÆ) 


器 前 设 定 ) 


H «9. 3" 此 位 无 意义 ) 


径 名 ) 
法 的 函数 名 称 。 

















来 存放 结 






































的 简单 结果 ， 采 ) 
， 评 估 的 结果 ， 如 预测 精度 ， 决 策 树 





























支持 度 ， 误 差 等 ; 
输出 参数 的 方式 予以 保 
包括 的 节点 数 等 简 


采掘 算法 通过 传递 的 参数 ， 访 问 元 数据 的 算法 参数 信息 表 ， 获 得 所 需要 的 输入 参数 和 数 





据 ， 算 法 运行 完毕 后 将 输出 的 i 
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的 注册 算法 的 参数 信息 ， 使 采 志 
MSMiner 通过 元 数据 记录 采 握 入 





=] 





出 
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平价 参数 和 规则 写 到 相应 的 表 中 。 通 
算法 与 采掘 任 务 有 机 结合 起 来 。 
法 的 描述 信息 ， 使 得 采掘 算法 像 数据 库 中 的 数据 一 样 易 
























































过 这 个 接口 





系统 可 以 方便 









































TERME. ORAL SUAS HERE TB UR A I, RHR A I I, SL TOR 
算法 的 动态 加 载 。 目 前 MSMiner 算法 库 中 包含 决策 树 、BP 及 SOM 神经 网 络 、 多 元 回归 分 析 
及 关联 规则 发 现 算法 、 粗 糙 集 属性 约 简 算 法 、 文 持 向 量 机 算法 、 模 糊 据 类 算法 等 ， 可 用 于 分 
类 、 预 测 、 关 联 规则 发 现 等 数据 挖掘 任务 。 







































































习 题 





解释 知识 发 现 的 概念 。 

知识 发 现 过 程 主要 包括 那 几 部 分 内 容 ， 它 们 之 间 的 关系 是 什么 。 

简 述 知识 发 现 中 包括 哪些 任务 。 

什么 是 分 类 ， 什 么 是 聚 类 ， 简 述 二 者 的 区 别 和 联系 。 

简 述 数据 仓库 的 定义 ， 讨 论 数据 仓库 与 传统 意义 上 的 关系 型 数据 库 之 间 的 异同 。 
段 设 数 据 仓 库 由 4 维 构成 ， 即 上 时间、 项、 部门、 地点， 并 有 两 个 测度 : 即 销售 总 额 
(dollars sold). 销售 单位 (units_sold)。 请 画 出 销售 的 数据 仓库 星 型 模式 。 
7. 简 述 元 数据 的 概念 ， 以 及 数据 仓库 中 元 数据 管理 策略 。 

8. 述 ETL 任务 的 具体 内 容 ， 为 什么 数据 仓库 中 需要 ETL 工作 。 

9. 解释 维度 、 数 据 立方 体 、 度 量 的 概念 ， 以 及 OLAP 中 的 星 型 模型 和 雪花 模型 。 
10. 比较 OLAP. OLTP 的 概念 ， 以 及 ROLAP 和 MOLAP 的 概念 。 

11. 解释 OLAP 术语 中 的 渐变 维度 (Slowly Changing Dimension) 概念 。 












































SL E 
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第 十 四 章 


能 主要 研究 在 逻辑 











Zy 


分 布 智 肯 


a 
6 


上 或 物理 上 分 散 的 智能 系统 如 何 并行 地 、 相 互 协作 地 实现 问题 


























14.1 概述 


人 类 活动 大 部 分 都 涉及 社会 群体 , 大 型 复杂 问题 的 求解 需要 多 个 专业 人 员 或 组 织 协作 完 





























成 。 自 20 
fti e EASE 
信息 系统 、 决 策 系统 和 知识 系统 的 发 








极 
RE: 
(1) 系统 中 的 数据 、 知 识 

















(2) 各 个 求解 机 构 | 
价 低 得 多 。 


计算 






























































， 以 及 控制 不 但 在 逻辑 上 ， 而 























世纪 70 年 代 后 期 以 来 , 随 着 计算 机 网 络 、 计 算 机 通信 和 并 行程 序 设 计 技 术 的 发 
究 逐 渐 成 为 一 个 新 的 研究 热点 。20 世纪 90 年 代 以 来 , 互联 网 的 迅速 发 展 为 新 的 
展 提 供 极 好 的 条 件 , 他 们 在 规模 、 范 围 和 复杂 程度 上 增加 
姑 ， 分 布 智能 技术 的 开发 与 应 用 越 来 越 成 为 这 些 系 统 成 功 的 关键 。 








分 布 智能 





在 物理 上 是 分 布 











局 控制 ， 也 没有 全 局 的 数据 存储 。 





机 网 络 互 连 ， 在 问题 求解 过 程 中 ， 



































展 ， 

















系统 具有 下 列 


的 ， 既 没有 全 





通信 代价 要 比 求解 问题 的 代 





(3) 系统 中 诸 机 构 能 够 相互 协作 ， 来 求解 单个 机 构 难以 解决 ， 甚 至 不 能 解决 的 任务 。 

















分 布 式 人 工 智 能 系统 的 实现 可 以 克服 原 有 专家 系统 、 学 习 系 统 等 的 弱点 ， 极 大 地 提高 知 
识 系统 的 性 能 ， 其 主要 优点 表现 为 : 








(1) 提高 问题 求解 能 力 。 
先 可 靠 性 高 ， 通 信 路 径 、 处 理 
应 时 间或 求解 精度 ， 而 不 至 于 
规模 并 

(2) 提高 问题 求解 效率 。 
























































结 点 、 以 及 知识 的 见 余 
完全 瘫痪 ， 其 次 , 系统 容易 扩 









































由 于 分 布 智 























发 问题 求解 中 的 并 行 性 ， 提 高 求解 效率 。 








(3) 扩大 应 用 











范围 。 分 布 智能 技术 可 以 打破 目前 知识 工程 领域 的 一 个 限制 ， 











由 于 分 布 的 特点 ， 分 布 智能 系统 的 问题 求解 能 力 大 大 提高 。 首 








使 得 出 现 故 障 时 ， 整 个 系统 仅仅 降低 响 
E, 增加 处 理 单元 可 以 扩大 系统 的 
提高 问题 求解 能 力 ， 再 者 就 是 系统 的 模块 性 ， 将 使 整个 系统 设计 十 分 灵活 。 

能 系统 中 各 结 点 可 以 并 行 地 求解 问题 ， 所 以 可 

















以 








即 仅仅 使 用 一 














个 专家 。 在 分 布 智能 系统 中 ， 不 同 领域 、 甚 至 同一 领域 的 不 同 专家 可 以 协作 求解 某 一 专家 不 








能 解决 或 不 
或 超过 一 个 专家 的 水 平 。 
(4) 降低 软件 的 复杂 性 。 











能 很 好 解决 的 问题 。 


任务 ， 其 结果 是 降低 了 各 个 处 理 结 点 问题 求解 的 复杂 性 。 








同时 ， 许 多 领域 中 若干 非 专家 有 机 地 结合 起 来 ， 也 可 能 达到 


分 布 智能 系统 将 整个 求解 任务 分 解 成 若干 相对 独立 的 专门 的 子 























4f 
时 目标 是 要 创建 大 粒度 的 协作 






































任务 执行 系统 。 所 有 的 交互 策 

















系统 ， 因 为 处 理 系统 是 为 满足 在 
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智能 的 研究 可 以 追溯 到 70 4 


的 DPS 系统 中 ， 问 题 被 分 解 成 任务 ， 并 且 为 求解 这 些 任 务 ， 








群体 ， 它 们 之 间 共 同 工 作 以 对 某 





FE 代 末 期 。 早 期 分 布 智能 的 研究 主要 是 分 布 式 问题 求解 ， 























各 都 被 集成 为 系统 设计 的 整体 部 分 。 
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顶部 所 给 定 的 需求 而 设计 的 。Hewitt 和 他 的 同 
于 ACTOR 模型 的 并 发 程序 设计 系统 [Hewitt 1983]. ACTOR 模型 提供 了 分 布 式 系统 中 并 行 计 和 
理论 和 一 组 专家 或 ACTOR 获得 智能 行为 的 能 力 。 在 1991 年 Hewitt 提出 开放 信息 系统 语义 


这 是 一 种 自 





问题 进行 求解 。 在 一 个 纯粹 
需要 仅 为 该 问题 设计 一 些 专用 的 








项 向 下 设计 的 




















事 们 研制 了 基 























[Hewitt 1991]， 指 出 竞争 、 承 话 、 协 作 、 协 商 等 性 质 应 作为 分 布 式 人 工 智 能 的 科学 基础 ， 














图 为 分 布 式 人 工 智 能 的 理论 研究 提供 新 的 基础 。 
h 1980]. CNET 使 


(CNET) [Smit 




















的 重要 贡献 在 于 提出 了 通过 相互 选择 和 达成 协议 的 协商 过 程 实现 分 布 式 
监控 测试 系统 DVMT 也 是 分 布 式 人 工 智 
麻 萨 诸 塞 大 学 的 Lesser，Corkill 和 Durfee 等 人 主持 研制 [Lesser 1980] 。 该 系统 对 








AE. a} ANTES 
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| 投标 











1980 年 Davis 和 S 
合同 方式 实现 任务 在 多 个 节点 上 









































试 


ith 提出 了 合同 网 
的 分 配 。 合 同 网 系统 
任务 分 配 和 控制 的 思 















































市 区 内 行驶 的 车 和 











轨迹 进行 监控 ， 并 以 此 环境 为 基础 ， 


题 进行 研究 [Durfee 1987]. DVMT 是 以 分 布 式 传 感 网 络 数据 解释 为 























解 系统 之 间 的 相互 作 








进行 了 在 























究 ， 提 供 了 





I 象 和 模型 化 分 布 式 系统 行为 





能 领域 最 早 和 最 有 影响 的 研究 课题 < 


对 分 布 式 问 题 求 解 系 统 中 许多 技术 问 

















背景 ， 对 复杂 的 黑板 问题 求 
的 方法 。Gasser 等 


AF 1987 年 研制 了 MACE 系统 , 是 一 个 实验 型 的 分 布 式 人 工 智能 系统 开发 环境 [Gasser 1987]. 




















MACE 中 每 一 个 计算 单元 都 称 作 主 
进行 通信 。MACE 是 一 个 类 面向 对 象 环 境 ， 但 避 开 了 并 发 对 象 系统 中 
题 。MACE 的 各 个 机 构 并 行 计 算 ， 并 提供 了 



































体 ， 它 们 具有 知识 表示 和 






































述 机 构 的 















































课题 研究 的 重点 是 在 实际 并 行 环 境 下 运行 分 布 智能 系统 ， 保 持 概 念 的 清 

















算 技 术 研究 所 史 趾 植 等 研究 了 分 布 式 知识 处 理 系统 DKPS[ 朱 建立 














对 象 知识 模型 ,看 




















年 研制 了 Mering IV 反射 ACTOR 语言 [Ferber 1991] 








活动 对 象 ， 通 过 有 异步 消息 传送 实现 相互 作 ) 








体系 统 主 要 研究 
关于 各 自 的 不 同 目标 ， 














念 ， 人 们 提出 了 一 种 新 的 人 工 智 
































体 既 是 人 工 智 








域 的 研究 人 员 的 兴 


构造 能 表现 出 一 定 智能 行为 的 3 
斯 坦 福 大 学 计算 机 科学 系 的 Hayes-Roth 在 IJCAI 95 的 特 邀 报告 中 谈 到 : 
能 最 终 的 目标 。” 现在 ， 关 于 主体 的 研究 不 仅 受到 
了 人 工 智能 研究 人 员 的 关注 ， 也 吸引 了 数据 通信 、 人 机 界面 设计 、 机 器 人 、 并 行 工程 等 各 领 


能 最 初 的 目标 ， 也 是 人 工 智 






















































































能 定义 : 























14.2 分 布 式 问题 求解 





分 布 式 问题 求解 是 分 布 
性 问题 时 集中 式 解 题 系统 的 局 限 怕 








要 进展 ， 这 方 














智能 研究 的 一 个 分 支 ，! 





在 分 布 式 问 
也 无 全 






























































局 数据 和 知识 存 贮 。! 











于 系统 中 没有 一 个 结 点 拥 

















因此 各 结 点 需要 交换 部 分 数据 、 知 识 、 


作 求 解 。 


问题 求解 状态 等 信息 ， 





分 





(results sharing). 























方式 的 系统 中 , 各 结 点 通过 


布 式 问题 求解 系统 有 
Smith 和 Davis 


两 种 协作 方式 ， 即 任务 分 担 (X 


























于 人 们 认识 


由 以 目标 为 指导 ， 
是 出 了 结果 共享 方式 。 在 结果 共享 

















多 主 
也 可 能 是 
协作 进行 问题 求解 。 基 于 主体 的 概 
“人 工 智 能 是 计算 机 科学 的 一 个 分 支 ， 它 的 目标 是 
E 体 ”。 所 以 ， 智 能 主体 的 研究 应 该 是 人 工 智能 的 核心 问题 。 
“智能 的 计算 机 主 


E 理 能 力 ， 主 体 之 件 通 过 消息 传送 
难于 理解 和 实现 的 继承 问 


述 语言 , 具有 跟踪 的 demons 机 制 。 该 
i 性。 中 国 科 学 院 计 
1990] 。 该 系统 采用 逻辑 一 一 


究 了 知识 共享 和 协作 求解 等 问题 。 基 于 ACTOR 计算 模型 , Ferber 等 人 于 1991 
。 在 这 个 模型 中 actor 是 可 以 并 发 执行 的 
Jo Mering IV 是 反射 语言 ， 可 以 在 结构 上 和 操作 上 
表示 自身 。 系 统 利用 反射 性 使 得 不 同 大 小 和 粒度 的 智能 主体 能 够 以 统一 的 方式 相互 作用 

90 年 代 ， 多 主体 系统 (multiagent system, MAS) 的 研究 成 为 分 布 智能 研究 的 热点 。 
自主 的 智能 主体 之 间 智 能 行为 的 协调 ， 为 了 一 个 共同 的 全 局 目标 ， 
共享 有 关 问 题 和 求解 方法 的 知识 ， 








到 解决 一 类 复杂 问题 和 综合 
E， 加 之 网 络 技术 、 通 信 技 术 和 并 行程 序 设计 技术 取得 了 重 
和 的 研究 逐渐 受到 重视 。 
题 求解 系统 中 ， 数 据 、 知 识 、 控 制 均 分 布 在 系统 的 各 结 点 上 ， 既 无 全 局 控制 ， 
有 足够 的 数据 和 知识 来 求解 整个 问题 ， 
相互 协作 来 进行 复杂 问题 的 协 








sharing) 和 结果 





ask 

















% 享 部 分 结果 相互 协作 , 系统 中 的 控 人 
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BID UMGROU IE S, 各 结 点 在 任 





各 结 点 的 处 理 目 


EX 
Nt. 


提出 了 任务 分 担 方式 。 在 任务 分 担 系统 中 ， 结 点 之 间 
通过 分 担 执行 整个 任务 的 子 任务 而 相互 协作 ， 系 统 中 的 控 M 
标 是 为 了 求解 整个 任务 的 一 部 分 。Lesser 和 Corkill 
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AY FATE AT SR AERP 24 RP AS 9E 








有 或 从 











它 结 点 收 到 的 数据 和 知识 。 























任务 分 担 的 问题 求解 方式 适合 于 求解 




















罗 辑 电路 设计 、 医 疗 诊断 。 结 果 共享 
互 影响 , 并 且 部 分 结果 需要 综合 才能 得 




















求解 方式 适合 于 求解 与 外 
问题 解 的 领域 。 如 分 布 式 3 




















监控 实验 系统 DVMT。 FKE, A 
H, 它们 本 质 上 并 非 是 不 机 









































Hayes-Roth 从 结果 共享 的 角度 研究 了 两 种 方式 的 结合 方法 。 


14. 2. 1 分 布 式 问 题 求 解 系统 分 类 

分 布 式 求解 系统 中 的 组 织 结 
的 分 布 模式 ， 它 说 明了 各 结 点 的 作 
协作 的 不 确定 性 。 














H 















































构 是 指 结 点 之 间 的 信息 与 控 人 
和 结 





织 结 


SNH 


点 间 的 关系 。 这 种 组 




































































是 关系 以 及 问题 求解 能 力 在 
构 必 须 有 利于 减少 有 关 








究 了 两 种 方式 结合 的 方法 ， 





Zi 











k 有 层次 结构 的 任务 , 如 工厂 联合 体 生 产 规划 、 数 字 
ES AKIN FA 
运输 调度 系统 、 分 布 式 车 辆 


FE 务 的 结果 相 


E 务 分 担 与 结果 共享 两 种 求解 方式 ， 只 是 强调 问题 求解 的 阶段 不 
HAM. Smith 从 任务 分 担 的 角度 大 


E 


THAM 


根据 组 织 结构 ， 分 布 式 问题 求解 系统 可 以 分 为 三 类 , 即 层次 结构 类 、 平 行 结构 类 、 混 合 结 
构 类 ， 其 特点 分 别 简 述 如 下 : 

(1) 层次 结构 类 

。 从 组 成 结构 上 看 , 任务 是 分 层 的 。 每 个 任务 由 若干 个 子 任务 组 成 , 每 个 子 任务 又 由 若干 
个 下 层 子 任务 组 成 ， 以 此 类 推 ， 形 成 层次 结构 。 

。 各 个 子 任务 在 逻辑 上 或 物理 上 是 分 布 的 。 

层次 结构 类 任务 可 采用 任务 分 担 模型 进行 求解 ， 每 个 处 理 结 点 求解 一 个 或 几 个 任务 。 如 
分 布 式 运输 调度 系统 、 分 布 式 车 辆 监控 实验 系统 DVMT 等 ， 均 属于 这 种 类 型 。 








(2) 平行 结构 类 

































































。 从 组 成 结构 上 看 ， 任 务 是 平行 的 。 每 个 任务 由 若干 子 任务 组 成 ， 各 子 任务 性 质 相 同 ， 
具有 平行 关系 。 

。 整个 任务 的 完成 依赖 于 与 之 有 关 的 各 个 子 任务 ， 各 子 任务 的 部 分 解 往往 是 不 完全 的 ， 
需要 综合 成 整个 任务 的 解 。 

。 各 个 子 任务 在 时 间或 空间 上 往往 是 分 布 的 。 

平行 结构 类 任务 可 采用 结果 共享 模型 进行 求解 ， 每 个 处 理 结 点 求解 一 个 或 几 个 任务 。 






























































Kornfeld 和 Hewitt 根据 “科学 团 
例子 ”的 平行 结构 。 
(3) 混合 结构 类 
。 MESI E, A 
。 各 个 子 任务 是 分 布 的 。 
混合 结构 类 任务 可 以 采用 人 























14. 2.2 分 布 式 问题 求解 过 程 





分 布 式 问 题 求解 系统 的 求解 过 程 可 
结果 综合 。 系 统 首先 从 用 户 接口 接收 月 
交 给 任务 分 解 费 ， 否 则 通知 用 户 该 系统 不 
的 算法 分 解 为 若干 相对 和 狐 
方案 交 给 任务 分 配器 。 作 
到 合适 的 结 点 。 若 有 多 个 分 布 方案 ， 则 选 
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H 
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EF 务 是 分 层次 ， 而 每 层 中 的 外 


以 分 为 四 步 : A 
HP SB 





FE 务 是 并 行 的 。 








FE 务 分 担 与 结果 共享 相 结 合 的 问题 求解 模型 。 











b oe 
已 TD 











ES. HASTA, M 














FE 务 分 解 , 任务 分 配 ， 子 问题 求解 ， 
FE 务 ， 判 断 是 否 可 以 接受 。 若 可 以 接受 ， 则 
成 此 任务 。 任 务 分 解 器 将 接收 的 任务 ， 按 一 定 
lor. (AX RAW TB 
F 务 分 配器 将 接受 的 任务 ， 按 一 定 的 任务 分 配 算法 ， 将 各 子 任务 分 配 








1 选 出 一 个 最 佳 


体 是 高 度 并 行 的 系统 ”的 观点 ， 提 出 了 名 为 “科学 团体 


以 及 








最 佳 方案 。 各 求解 器 在 接受 到 子 人 有 








ww ai bbt. com [1 HB DL O D D] 


上 























ES Ja, 


了 通信 





系统 密切 配合 进行 协作 求解 ， 并 将 局 部 入 





























个 统一 的 解 并 提交 用 户 。 若 用 户 对 结果 满意 ， 则 输出 结 
事实 上 ， 实 际 系统 中 的 问题 求解 要 比 上 述 过 程 复杂 和 











ln 


























EA REAR ARS, ZR VAR BORG Fa RB GT ER 
A, FURRER SEA A LTR o 
:多 。 











下 面 简单 介绍 几 种 典型 的 任务 分 解 和 任务 分 配 的 方法 : 














(1) 合同 网 络 。Davis 和 Smith 提出 
系统 的 任务 分 配 算 法 。 在 此 方法 中 ， 合 同 就 是 产生 生 
[ 业 招 标 ” 类 似 。 











达成 的 一 种 协议 ， 建 立 合同 的 思想 与 “了 











统 为 背景 实现 了 合同 网 络 。 
(2) 动态 层次 控制 。 











的 “合同 网 络 ” 本 质 上 是 一 利 
E 务 的 结 点 与 愿意 执行 此 人 有 




















适合 任务 分 担 求解 
E 务 的 结 点 之 间 


Davis 和 Smith 以 分 布 式 感应 系 











任务 分 配方 法 。 按 此 方法 ， 系 统 在 任务 分 解 之 后 ， 




















问题 求解 环境 数据 ， 建 立 结 点 问题 控制 关系 框架 与 全 局 必 
系 框架 分 布 任务 进行 协作 求解 。 求 解 过 程 中 出 现 的 条 人 





















































F 资 源 冲突 分 别 通 过 商议 、 启 发 式 知 


冲突 监控 关系 网 络 ， 然 后 按 控 人 











Findler 等 在 合同 网 络 的 基础 上 , 提出 动态 层次 控制 的 任务 分 解 与 
首先 对 各 结 点 的 处 理 能 力 进行 分 析 ， 综 合 
JS 


iH, 


以 及 全 局 性 冲突 监控 网 络 来 解决 。 Findler 等 在 工厂 联合 体 生产 规划 系统 中 对 上 述 思想 做 了 模 





拟 实验 。 








(3) 自然 分 解 ， 固 定 分 配 。Lesser 4I Corkill 等 在 分 布 式 车 轴 
固定 分 配 ” 的 任务 分 解 与 人 





了 “自然 分 解 ， 








(4) 部 分 全 局 规划 。 




















Durfee 和 Lesser 


划 。 一 个 部 分 全 局 规划 包括 目标 信息 、 规 划 ; 
















































































以 上 四 种 方法 中 ， 
求解 的 系统 。 














目标 信息 包括 部 分 全 局 规划 的 最 终 目标 和 重要 性 所 
点 目前 正 进行 的 主要 规划 步骤 及 其 成 本 、 期 望 结 果 











zr 4B ni 


m 


的 交互 关系 ， 状 态 信 息 记 录 自 其 它 结 点 收 到 的 有 关 
全 局 规划 ， 可 以 进行 动态 的 任务 分 解 与 任务 分 布 。 
前 两 种 适合 于 任务 分 担 方式 求解 的 系统 ， 后 两 种 适合 于 结果 共享 方式 
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H., 


Ds 














监控 实验 系统 DVMT 中 采用 
E 务 分 布 算法 。 据 此 方法 ， 预 先 将 被 监控 区 域 划分 
为 若干 相互 重 倒 的 子 区 域 ， 各 子 区 域内 的 传感器 将 收 到 的 数据 送 至 邻近 结 点 进行 处 理 。 




















8 了 一 种 灵活 的 协调 方式 ， 即 部 分 全 局 规 
、 解 结果 构造 图 ， 以 及 状态 信息 四 部 分 。 
规划 活动 图 表示 结 点 的 工作 ， 如 结 

解 结果 构造 图 中 的 信息 说 明 结 点 之 间 
纪 的 指针 、 收 到 时 间 等 。 



























































通过 交换 部 分 


协作 是 分 布 式 问题 求解 研究 的 重要 方面 。 根 据 结 点 间 协 作 量 的 多 少 ， 将 分 布 式 问题 求解 


系统 中 的 协作 分 为 三 类 : 


(0) 全 协作 系统 。 在 这 类 系统 中 ， 结 点 可 
求解 目标 进行 修改 ， 从 而 能 处 理 相互 依赖 的 子 问题 ， 协 作 量 大 ， 
(2) 无 协作 系统 。 各 结 点 根本 不 协作 ， 无 通信 成 本 。 






























































(3) 半 协 作 系统 。 在 一 定 程度 上 进行 协作 的 系统 。 


















































通信 成 本 高 。 


























统 目 标的 方向 进行 。Corkill，Lesser 和 Durfee f 
构 实现 元 级 控制 的 方法 。Naseem 和 Pamesh 研究 了 基于 知识 的 分 布 式 系统 中 不 胡 


问题 ， 并 给 出 了 一 个 结果 综合 模型 。 








在 分 布 式 问题 求解 系统 中 ， 保 持 全 局 
































以 为 了 系统 目标 或 其 它 结 点 的 目标 而 对 本 身 的 


致 性 意味 着 各 结 点 的 问题 求解 朝 着 有 利于 实现 系 


究 了 分 布 式 问题 求解 系统 中 通过 组 织 结 


ZH 









































在 分 布 式 问题 求解 中 ， 和 常用 的 通信 方式 有 共享 全 
黑板 模型 是 分 布 式 问题 求解 系统 中 使 用 较 多 的 

































































局 存 贮 器 、 信 息 传递 
EAR HEH. Lesser 等 人 在 DVMT 系统 的 黑板 模型 
il, 系统 中 聚合 器 根据 数据 黑板 上 的 信 

上 。 目 标 处 理 器 负责 目标 的 分 解 ， 并 





中 ， 增 加 了 目标 黑板 、 抽 象 级 黑板 以 及 复杂 的 规划 机 4 
县 产生 规划 所 用 的 抽象 数据 ， 并 将 其 存放 在 抽象 级 黑板 -| 























E Ah TR 





的 


以 及 二 者 的 结合 。 





并 





产生 知识 源 例 示 队列 。 规 划 程 序 结合 抽象 级 数据 、 知 识 源 例 示 队列 以 及 网 络 系统 的 组 织 结构 
信息 进行 处 理 ， 产 生 规划 队列 。 系 统 运 行 时 根据 本 体 黑 板 信息 的 变化 状态 以 及 网 络 中 其 它 求 























解 费 的 状态 ， 对 规划 的 实施 进行 动态 调整 。 


















































主体 结构 需要 解决 的 问题 是 主体 由 哪些 模块 组 成 ， 它 们 之 间 如 何 交 互信 息 ， 主 体感 知 到 


的 信息 如 何 影 响 它 的 行为 和 内 部 状态 ， 
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以 及 如 何 将 这 些 模块 用 软件 或 硬件 的 方式 组 合 起 来 形 
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成 一 个 有 机 的 整体 ， 真 正 实现 主体 。 





14.3 主体 基础 























多 主体 系统 主要 研究 在 逻辑 上 或 物理 上 分 离 的 多 个 主体 协调 其 智能 行为 ， 即 知识 、 目 标 、 
意图 及 规划 等 ， 实 现 问题 求解 。 多 主体 系统 可 看 作 是 一 种 由 底 向 上 设计 的 系统 ， 因 为 在 原理 
上 ， 分 散 自主 的 主体 首先 被 定义 ， 然 后 研究 怎样 完成 单个 或 几 个 主体 的 任务 求解 。 多 主体 系 
统 不 仅 可 以 处 理 单一 目标 ， 也 可 以 处 理 不 同 的 多 个 目标 。 

主体 相应 的 英文 词 是 “Agent ”。 在 英文 中 “Agent ”这 个 词 主要 有 三 种 涵义 : 一 是 指 能 
对 其 行为 负责 的 人 ; 二 是 指 能 够 产生 某 种 效果 的 ， 在 物理 、 化 学 或 生物 意义 上 活跃 的 东西 ; 
三 是 指 代理 ， 即 接收 某 人 的 委托 并 代表 他 执行 某 种 功能 , 因此 有 人 称 为 代理 。 在 计算 机 和 人 工 
智能 领域 中 ， 主 体 可 以 看 作 是 一 个 实体 ， 它 通过 传感器 感知 环境 ， 通 过 效应 器 作用 于 环境 。 
若 主 体 是 人 ， 则 传感器 有 眼睛 、 耳 条 和 其 它 器 官 ， 手 、 腿 、 嘴 和 身体 的 其 它 部 分 是 效应 器 。 
若 主体 是 机 器 人 ,摄像 机 等 是 传感器 ， 各 种 运动 部 件 是 效应 器 。 一 般 主体 可 以 用 图 14. 1 表示 。 






















































































































































































me | TG 


效应 器 


图 14. 1 主体 与 环境 交互 作用 

通常 认为 一 个 主体 需要 具有 下 述 部 分 或 全 部 特性 : 

(1) 自治 性 。 这 是 一 个 主体 的 基本 特性 ， 即 可 以 控制 它 自身 的 行为 。 主 体 的 自治 性 体现 
在 : 主体 的 行为 应 该 是 主动 的 、 自 发 的 ， 主 体 应 该 有 它 自己 的 目标 或 意图 (intention) ; 根 
据 目 标 、 环 境 等 的 要 求 ， 主 体 应 该 对 自己 的 短期 行为 作出 计划 。 

(2) 交互 性 , 即 对 环境 的 感知 和 影响 。 无 论 主体 生存 在 现实 的 世界 中 (如 机 器 人 、Internet 
上 的 服务 主体 等 ) 还 是 虚拟 的 世界 中 《如 虚拟 商场 中 的 主体 等 ) ， 它 们 都 应 该 可 以 感知 它们 
所 处 的 环境 ， 并 通过 行为 改变 环境 。 一 个 不 能 对 环境 作出 影响 的 物体 不 能 被 称 为 主体 。 

(3) 协作 性 。 通 常 主体 不 是 单独 地 存在 ， 而 是 生存 在 一 个 有 很 多 个 主体 的 世界 中 。 主 体 
之 间 的 良好 有 效 的 协作 可 以 大 大 提高 整个 多 主体 系统 的 性 能 。 

(4) 可 通信 性 。 这 也 是 一 个 主体 的 基本 特性 。 所 谓 通 信 ， 指 主体 之 间 可 以 进行 信息 交换 。 
更 进一步 ， 主 体 应 该 可 以 和 人 进行 一 定 意义 下 的 “会 话 ”。 任 务 的 承接 、 多 主体 的 协作 、 协 
商 等 都 以 通信 为 基础 。 
(5) 长 寿 性 (或 时 间 连 贯 性 ) 。 传 统 程序 由 用 户 在 需要 时 激活 ， 不 需要 时 或 者 运算 结束 
后 停止 。 主 体 与 之 不 同 ， 它 应 该 至 少 在 “相当 长 ”的 时 间 内 连续 地 运行 。 这 虽然 不 是 主体 的 
必须 特性 ， 但 目前 一 般 认 为 它 是 主体 的 重要 性 质 。 

另外 ， 有 些 学 者 还 提出 主体 应 该 具有 自 适 应 性 、 个 性 等 特性 。 在 实际 的 应 用 中 ， 主 体 经 
和 常 需要 在 时 间 和 资源 受到 一 定 限制 的 情况 下 作出 行动 。 所 以 ， 对 于 现实 世界 中 的 主体 ， 除 了 
应 该 具有 主体 的 一 般 性 质 外 ， 还 应 该 具有 实时 性 。 

目前 ， 多 主体 系统 的 研究 非常 活跃 。 多 主体 系统 试图 用 主体 来 模拟 人 的 理性 行为 ， 主 要 
应 用 在 对 现实 世界 和 社会 的 模拟 、 机 器 人 和 智能 机 械 等 领域 。 而 在 现实 世界 中 生存 、 工 作 的 
主体 ， 要 面 对 的 是 一 个 不 断 变化 的 环境 。 在 这 样 的 环境 中 ， 主 体 不 仅 要 保持 对 紧急 情况 的 及 
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时 反应 ， 还 要 使 用 一 定 的 策略 对 中 短期 的 行为 作出 规划 ， 
ee 


分 析 来 预测 未 来 的 状态 ， 


14. 4. 1 理性 主体 


1987 年 Brat 
他 认为 只 有 保持 信念 (bel 
决 问题 。 在 开放 世界 中 ， 

















an 从 哲学 











以 及 通 








而 通 

















14.4 主体 理论 











而 通过 对 








世界 和 其 它 主体 的 建 模 

































































两 者 组 成 的 规划 驱动 ， 在 愿望 与 规划 之 间 应 有 一 个 基于 信念 
一 旦 主体 决定 做 什么 





(1) 主体 的 行为 受 有 限 资源 的 约束 ， 
































上 对 行为 意图 (intention) 的 研究 对 人 工 智能 产生 了 广泛 的 影响 。 
ief), BZ (desire) 和 意图 (intention) 的 理性 平衡 ， 才 能 有 效 地 解 
理性 主体 (rational agent) 的 行为 不 能 直接 由 信念 、 愿 望 ， 以 及 由 

的 意图 存在 。 其 原因 是 : 
， 就 建立 了 一 个 承诺 








(committment) 的 有 限 形式 。 





(2) 在 多 主体 环境 中 ， 





图 正 是 一 种 承诺 的 选择 。 





























在 开放 和 分 布 的 环境 中 ， 一 个 理性 主体 的 行为 受制 于 意图 。 意 图 又 表现 为 : 
(1) 一 个 主体 要 改变 自己 已 有 的 意图 必须 要 有 理由 ; 
(2) 一 个 主体 不 能 无 视 环 境 的 变化 而 坚持 不 符合 实际 或 已 不 重要 的 意图 。 
理性 平衡 的 目的 在 于 使 理性 主体 的 行为 符合 环境 的 特性 。 所 谓 : 

客观 条 件 ， 同 时 包含 环境 中 的 社会 团体 因素 ， 如 社会 团体 关于 理性 行 

给 出 了 意图 一 行为 原则 : 如 果 主 体 A 有 进行 行为 B 的 当前 行为 意图 是 合理 的 ， 


转化 为 行为 ， 有 意 地 进行 行为 B 就 是 合理 
主体 理性 





在 给 定时 间 里 ， 





需要 由 承诺 来 协调 各 主体 








































































































(1) TERES! 
(2) 主体 感知 所 有 事 
(3) XH 














I 度 规 定 成 功 的 程度 


表现 为 : 










































































的 行为 。 若 无 承诺 ， 则 无 从 谈 行 为 。 意 





SORE PEA UM E IE 


为 的 判断 法 则 。Bratman 








的 。 


情 ， 我 们 将 把 这 个 完 整 的 感知 历史 称 为 感知 序列 。 


道 环境 是 什么 。 


(4) 主体 可 以 执行 的 动作 。 





















































那么 A 把 意图 








一 种 理想 的 理性 主体 可 以 定义 为 ， 对 于 每 种 可 能 的 感知 序列 ， 理 想 的 理性 主体 ， 在 感知 
序列 所 提供 的 证 据 和 主体 内 部 知识 的 基础 上 ， 应 该 做 的 所 期 望 的 动作 是 使 它 的 性 能 测度 为 最 








大 。 


14.4.2 BDI 主体 模型 






































标 和 怎样 改变 信念 ; 








BDI 主体 模型 可 以 通过 下 列 要 素描 述 
(1) 一 组 关于 世界 的 信念 ; 

(2) 主体 当前 打算 达到 的 一 组 目标 ; 
(3) 一 个 规划 库 ， 描 述 怎样 达到 目 
(4) 一 个 意图 结构 ， 描 述 主体 当前 











Rao 和 Georgeff 提出 了 


BDI-Interpreter 


initialize-state(); 


do 








E 上 
BR 


fF 达到 它 的 目标 和 改变 信念。 





ww ai bbt. com [1 HB DL O D D] 





一 个 简单 的 BDI 解释 器 (Rao and Georgeff 1992): 


361 


options := option-generator(event-queue, B, G, I); 
selected-options := deliberate(options, B, G, I); 
update-intentions(selected-options, I); 
execute (I) ; 
get-new-external-events () ; 
drop-successful-attitudes (B, G, I) ; 
drop-impossible-attitudes (B, G, I); 

until quit 


14.4 主体 结构 


14. 4. 1 主体 基本 结构 














主体 可 以 看 成 一 个 黑箱 ， 通 过 传感器 感知 环境 ， 通 过 效应 器 作用 环境 。 人 主体 的 传感器 
有 了 眼 、 耳 、 鼻 、 以 及 其 它 嚣 官 ， 而 手 、 腿 、 嘴 、 喘 体 可 以 看 成 效应 器 。 机 器 人 主体 有 摄像 机 























等 作为 传感器 , 而 各 种 马达 是 效应 器 。 软 件 主体 通过 字符 串 编 码 作为 感知 和 作用 














本 一 


作用 
图 14.2 ”黑箱 软件 主体 


























智能 主体 
14.3 智能 主体 的 工作 过 程 

















COLE 








14.2). 

















大 多 数 主体 不 仅 要 与 环境 交互 作用 , 更 主要 的 是 处 理 和 解释 接收 的 信息 , 达到 自己 的 目 















































的 。 图 14. 3 给 出 了 智能 主体 的 工作 过 程 。 主 体 接收 到 的 信息 首先 要 以 适当 的 方式 进行 融合 ， 
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并 能 为 主体 知识 库 所 接受 。 信 息 融 合 特别 重要 ， 不 同 交 互 模块 得 到 的 结果 可 能 不 同 ， 表 达 方 
\ 样 。 例 如 ， 对 于 同一 件 事 ， 人 提供 的 信息 与 智能 主体 得 到 的 内 容 和 形式 不 相同 。 信 
居 融 合 要 识别 和 正确 区 分 这 种 不 一 致 性 。 
一 旦 主体 接收 外 部 信息 ， 信 息 处 理 过 程 成 为 主体 的 核心 ， 因 为 它 反 应 主体 的 真正 功能 。 信 息 
处 理 的 目的 是 解释 可 用 的 数据 ， 形 成 具体 规划 。 因 为 每 个 主体 都 有 具体 的 目标 ， 内 部 目标 的 
影响 必须 作为 影响 的 一 部 分 考虑 。 如 果 影 响 弄 清楚 了 就 要 采取 行动 ， 使 之 达到 或 接近 目标 。 
形成 规划 时 主体 可 以 规定 知识 ， 包 括 对 新 情况 反应 的 具体 处 理 步骤 。 但 是 ， 这 不 是 本 质 的 东 
6， 因为 主体 执行 可 以 不 要 规划 。 当 要 求 对 环境 对 象 交 互 时 ， 动 作 模 块 将 使 用 合适 的 交互 模 
块 。 控 制 执 行 也 是 动作 模块 的 任务 。 
此 可 见 , 主体 可 以 定义 为 从 感知 序列 到 主体 例 示 动作 的 映射 。 设 0 是 主体 随时 能 注意 到 
的 感知 集合 ，A 是 主体 在 外 部 世界 能 完成 的 可 能 动作 集合 ， 则 主体 函数 £F: 0 — A 定义 在 所 有 
环境 下 主体 的 行为 。 人 工 智能 的 任务 是 设计 主体 程序 ， 实 现 从 感知 到 动作 的 映射 。 一 个 主体 
骨架 程序 给 出 如 下 : 

function Skeleton-Agent (percept) return action 

static: memory /* EKIRI */ 


memory «— Update-Memory (memory, percept) 
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action < Choose-Best-Action (memory) 

memory «— Update-Memory (memory, action) 

return action 

每 次 调用 ， 主 体 的 记忆 将 修改 ， 反 应 新 的 感知 。 理 想 的 理性 主体 对 于 每 一 个 可 能 的 感知 
序列 ， 总 希望 达到 最 好 的 性 能 。 因 此 ， 这 里 主体 采取 最 佳 动作 。 所 采取 的 动作 也 保存 在 记忆 


rH 
o 



































不 是 所 有 的 主体 动作 都 表达 为 对 新 的 情况 的 反应 ， 主 体 也 可 以 创建 新 的 规划 。 在 这 种 情 
况 下 ， 信 息 提供 者 的 知识 只 是 在 特定 时 间 有 用 。 这 种 知识 直接 导致 慎 思 主体 和 反应 主体 的 如 


要 区 别 。 
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14.4.2 慎 思 主体 











慎 思 主体 (Deliberative agent) ,也 称 作 认 知 主体 (Cognitive agent)， 是 一 个 显 式 的 
符号 模型 ， 包 括 环 境 和 智能 行为 的 逻辑 推理 能 力 。 它 保持 了 经 典 人 工 智能 的 传统 ， 是 一 种 基 
于 知识 的 系统 (Knowledge-based system)。 环 境 模型 一 般 是 预先 实现 的 ， 形 成 主要 部 件 知识 
库 。 采 用 这 种 结构 的 主体 要 面 对 以 下 两 个 基本 问题 
转换 问题 : 如 何在 一 定 的 时 间 内 将 现实 世界 翻译 成 一 个 准确 的 、 合 适 的 符号 描述 ， 表 示 / 
推理 问题 : 如 何 用 符号 表示 复杂 的 现实 世界 中 的 实体 和 过 程 ， 以 及 如 何 让 主体 在 一 定 的 时 间 
内 根据 这 些 信 息 进 行 推理 作出 决策 。 
第 一 个 问题 导致 了 计算 机 视觉 、 自 然 语言 理解 等 多 个 领域 的 研究 ， 第 二 个 问题 导致 了 知 
识 表示 、 自 动 推理 、 自 动 规划 等 多 个 领域 的 研究 。 在 实现 中 这 些 都 有 一 定 的 难度 。 因 为 表示 
太 复 杂 ， 慎 思 主 体 适 应 动态 环境 有 一 定 程度 的 局 限 性 。 没 有 必要 的 知识 和 资源 ， 在 主体 执行 
时 要 加 入 有 关 环 境 的 新 信息 和 知识 到 它们 已 有 的 模型 中 是 困难 的 。 

慎 思 主体 是 具有 内 部 状态 的 主动 软件 ， 它 与 具体 的 领域 知识 不 同 ， 具 有 知识 表示 、 问 题 
求解 表示 、 环 境 表 示 、 有 具体 通信 协议 等 。 根 据 主体 思维 方式 的 不 同 ， 慎 思 主 体 可 以 分 为 抽象 
思维 主体 、 形 象 思维 主体 。 抽 象 思维 主体 是 基于 抽象 概念 ， 通 过 符号 信息 处 理 进 行 思维 。 形 
思维 主体 是 通过 形象 材料 进行 整体 直觉 思维 ， 与 神经 机 制 的 连接 论 相 适应 。 
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14.4 慎 思 主体 的 框图 
14.4 给 出 了 慎 思 主体 的 框图 。 主体 通过 传感器 接收 外 界 环境 的 信息 ,根据 内 部 状态 进 
行 信息 融合 ， 产 生 修 改 当 前 状态 的 描述 。 然 后 ， 在 知识 库 的 支持 下 制定 规划 。 形 成 一 系列 动 
作 ， 通 过 效应 器 对 环境 发 生 作用 。 慎 思 主 体 程序 如 下 : 
function Deliberate-Agent (percept) returns action 
static: environment, /* 描述 当前 世界 环境 */ 
kb, /* 知识 库 */ 
plan /* 规划 */ 


environment «— Update-World-Model (environment, percept) 
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state «— Update-Mental-State (environment, state) 

plan «— Decision-Making (state, kb, action) 

environment «— Update-World-Model (environment, action) 

return action 

上 述 程序 中 ，Update-World-Model RA Bi M Jak Att p AE 24 ir TEE JE X SAY EY d S TR IK 。 
Update-Mental-State 函数 根据 当前 感知 到 的 环境 ， 修 改 主体 内 部 的 心智 状态 。 知 识 库 包括 
通用 的 知识 和 实际 的 知识 。 主 体 运用 知识 ， 通 过 Decision-Making 函数 可 以 进行 决策 ， 制 定 
规划 。 主人 交行 所 泛 的 动作 并 通过 Update-World-Model 函数 与 环境 发 生 交 互 。 

个 典型 的 慎 思 主体 是 BDI 结构 〈 见 图 14.5). BDI 主体 模型 可 以 通过 下 列 要 素描 述 : QD 

一 组 关于 世界 的 信念 ; @ 主体 当前 打算 达到 的 一 组 目标 ; @) 一 个 规划 库 ， 描 述 怎样 达到 目 
标 和 怎样 改变 信念 ， 由 一 个 意图 结构 ， 描 述 主体 当前 怎样 达到 它 的 目标 和 改变 信念 。 
















































































































































































14.5 BDI 
据 BDI 结构 ，Rao 和 Georgeff 提出 了 一 个 简单 的 BDI 解释 器 [Rao 1992]. 
BDI-Interpreter () { 
initialize-state(); 
do 
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options := option-generator(event-queue, B, G, D; 
selected-options := deliberate(options, B, G, 1); 
update-intentions(se/ected-options, 1); 

execute (J); 

get-new-external-events () ; 
drop-successful-attitudes (2, G, D; 
drop-impossible-attitudes (7, G, D; 

until quit 

} 

BDI 模型 影响 慎 思 主体 的 系统 结构 。1988 4, Bratman 等 研制 了 IRMA (Intelligent 
Resource-Bounded Machine Architecture) 系统 [Bratman 1987] 。 图 14.6 给 出 了 IRMA 主体 
结构 。 在 IRMA 结构 中 ， 一 个 主体 有 四 个 关键 的 符号 数据 结构 ， 分 别 为 一 个 规划 库 Clan 
library)， 用 符号 表示 的 信念 (belief )、 愿 望 (desire) 和 意图 Cintention). Ab, fj^ 
主体 有 一 个 推理 机 ， 用 来 对 世界 进行 推理 ， 有 一 个 分 析 机 ， 以 决定 哪个 规划 可 以 用 来 完成 该 
主体 的 意图 ; 有 一 个 “机 遇 分 析 机 ”监视 环境 的 变化 ;有 一 个 过 滤 处 理 器 (filtering process); 
还 有 一 个 慎 思 处 理 嚣 (deliberation process)。 过 滤 处 理 器 决定 主体 将 要 进行 的 动作 序列 是 
否 和 该 主体 当前 的 意图 协调 。 慎 思 处 理 器 在 冲突 的 可 选 动 作 中 作出 选择 。 这 种 IRMA 结构 曾经 
在 “Tileworl1d” 这 样 的 实验 场景 中 进行 过 实验 。 


Comm > 结构 到 规划 中 的 意图 

























































































































































































































机 遇 分 析 器 








可 比较 过 滤器 T JE 器 超载 机 制 

















中 方案 





























图 14.6 IRMA 主体 结构 
和 IRMA 结构 相 比 ，GRATE* 更 多 地 考虑 到 多 主体 系统 的 协作 特性 [Jennings 1993] 。 它 采用 一 
种 层次 结构 〈 见 图 14. 7)。 同 样 ， 主 体 的 行为 是 由 它 的 心智 状态 如 信念 、 愿 望 、 意 图 和 联合 意 
图 等 决定 的 。 主 体 被 分 为 两 个 部 分 ， 一 个 是 领域 层 ， 一 个 是 协作 控制 层 。 领 域 层 用 来 解决 领 
域 问 题 ， 例 如 工业 控制 、 财 政 或 交通 等 具体 问题 。 协 作 控 制 层 则 控制 领域 层 ， 使 它 和 其 它 主 
体 的 领域 层 能 协调 运作 。 协 作 控制 层 由 三 个 通用 的 模块 构成 :一 个 控制 模块 提供 和 领域 层 的 
BR. 一 个 情景 评价 模块 ， 还 有 一 个 协作 模块 。 这 里 情景 评价 模块 和 协作 模块 都 是 用 来 使 主 
体 不 仅 能 自己 解决 问题 ， 还 可 以 和 其 它 主体 一 起 进行 协作 问题 求解 。 采 用 GRATE*# 结 构 的 主体 
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社团 曾 在 电力 传输 管理 系统 中 做 过 实验 。 

















主体 间 通 信 Ee als 








获取 模型 








协作 和 控 秆 

















景 判断 模块 




















系统 界面 领域 层 











14. 7 GRATE* 主 体 结构 


14.4.3 反应 主体 











传统 人 工 智能 的 问题 几乎 没有 改变 地 反映 在 慎 思 主体 中 。 主 要 批评 在 于 僵硬 的 结构 。 主 
体 工作 在 非常 动态 变化 的 环境 中 ， 因 此 ， 它 们 必须 有 能 力 基于 当前 情景 作出 决策 。 但 是 ， 它 
们 的 意图 和 规划 是 根据 过 去 特定 时 间 的 符号 模型 开发 的 ， 很 少 有 变化 。 基 于 规划 的 僵硬 结构 
D su uuu nt E UU 
已 经 或 多 或 少 地 发 生 了 变化 。 慎 思 主 体 的 符号 算法 一 般 为 理想 的 、 可 证 明 的 结果 设计 的 ， 
常 导致 高 的 复杂 度 。 在 动态 环境 下 ， ee E E 
比 规划 优化 更 重要 。 相 反 ， 在 规划 过 程 有 效 的 情况 下 ， 慎 思 主 体 擅长 进行 规划 的 数学 证 明 。 

与 此 不 同 ， 反 应 主体 (Reactive agent) 是 不 包含 用 符号 表示 的 世界 模型 ， 并 且 不 使 用 
复杂 的 符号 推理 的 主体 [Wooldridge 1995]. Kl 14.8 给 出 了 反应 主体 的 框图 。 图 中 条 件 - 一 
动作 规则 使 主体 将 感知 与 动作 连接 起 来 。 其 中 方块 表示 主体 决策 过 程 的 当前 的 内 部 状态 。 椭 
圆 表示 过 程 中 所 用 的 背景 信息 。 反 应 主体 程序 如 下 : 

function Reactive-Agent (percept) returns action 

static: state, /* 描述 当前 世界 状态 */ 

rules, /* 一 组 条 件 -动作 规则 */ 
state < Interpret-Input (percept) 




















































































































rule < Rule-Match(state, rules) 
action «— Rule-Action[rule] 


return action 
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上 述 程序 中 ，Interpret-Input 函数 从 感知 产生 当前 状态 的 抽象 描述 , Rule-Match 函数 
返回 与 给 定 状态 描述 匹配 的 规则 组 











PF 的 一 条 规则 。 


条 性- 动作 
规则 


图 14.8 反应 主体 的 框图 


反应 主体 结构 显然 与 MIT 的 Br 





他 认为 智能 行为 是 主体 和 它 周 
践 家 。 他 实现 了 一 些 不 使 有 








围 的 环境 交互 的 






































ooks 所 倡导 的 基于 行为 的 人 工 智能 有 关 [Brooks 1991]. 

















上 符号 表示 和 推理 




















结果 。Brooks 不 仅 是 一 个 批评 家 ， 也 是 一 个 实 





的 机 器 人 。 这 些 机 器 人 是 基于 一 种 “包含 系统 结 





Kj (subsumption architecture)” 包含 系统 结构 是 一 些 层次 状 的 能 完成 任务 的 行为 。 每 个 


行为 都 试图 控制 机 器 人 ， 























障碍 物 )， 它 比 高 层 的 行为 有 更 多 的 
不 需要 符号 表示 和 推理 。 虽 然 简单 ， 





务 。 








因此 彼此 之 间 要 竞争 。 底 层 的 行为 表示 比较 原始 的 行为 “例如 避 开 
优先 权 。 结 果 ， 
Brooks 表示 它们 可 以 完成 符号 人 工 智能 系统 能 完成 的 任 


























这 种 结构 实现 的 系统 相当 简单 ， 因 为 它 

















就 在 Brooks 提出 基于 行为 的 人 工 智 能 观点 的 同时 ，Chapman 正在 完成 他 的 硕士 论文 。 在 
H 











论文 中 ， 他 也 从 到 





























l 论 上 分 析 了 符号 人 工 智能 的 困难 ， 并 得 到 符号 人 工 智能 模型 不 适用 于 实际 
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问题 的 结论 。 他 和 Agre 开始 寻找 其 它 的 方法 。Agre 注意 到 , 日 常生 活 中 的 大 部 分 活动 都 是 “党 
规 的 (routine)” 这 些 活动 很 少 需 要 (其 至 机 


















































旦 学 会 以 后 ， 就 可 以 
构 可 以 基于 “运行 中 ] 









































民 本 就 不 需要 ) 重新 进行 抽象 推理 。 很 多 任务 一 








一 种 常规 的 方法 完成 而 几乎 不 需要 变化 。Agre 提出 一 个 有 效 的 主体 结 
项 (running argument)” 的 思想 。 就 是 说 ， 既 然 大 部 分 决策 都 是 常规 的 ， 

















那么 可 以 把 它们 编码 成 一 种 低级 的 结构 《〈 例 如 数字 电路 )。 只 要 在 一 定 的 时 期 〈 例 如 为 了 解决 




















一 个 新 的 问题 ) 更 新 这 个 低级 结构 就 可 以 了 。 他 们 用 这 种 思想 实现 了 一 个 PENGI 系统 [Agre 
1987]. PENGI 是 一 个 早期 的 计算 机 游戏 的 名 字 ， 玩 家 控制 一 个 卡通 人 物 在 一 个 二 维 的 场景 中 
逃避 敌人 的 追捕 并 设法 杀 死 敌人 。PENGI 系统 就 是 用 他 们 提出 的 结构 实现 的 主体 控制 玩家 的 人 









































物 与 夏 人 斗智 。 图 14. 9 给 出 反应 主 


体 的 结构 。 
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出 《行动 >》 














图 14.9 反应 主体 的 结构 


类 似 的 系统 还 有 Maes 的 “Agent network” 结 构 [Maes 1989], 以 及 Steels 的 “Mars 
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explorer” £&£[Stone 1999] =. 
14.4.4 混合 结构 


前 面 我 们 讨论 了 主体 的 慎 思 结构 和 反应 结构 ， 它 们 反映 了 传统 人 工 智能 和 基于 行为 的 人 
工 智能 的 特点 。 无 论 是 纯粹 的 慎 思 结构 还 是 纯粹 的 反应 结构 都 不 是 构造 主体 的 最 佳 方式 。 人 
们 提出 混合 结构 的 主体 系统 ， 试 图 以 此 来 融合 经 典 和 非 经 典 的 人 工 智能 。 

最 显然 的 方式 就 是 在 一 个 主体 中 包含 两 个 (或 多 个 ) 子 系统 : 一 个 是 慎 思 子 系 统 ， 含 有 
用 符号 标号 表示 的 世界 模型 ， 并 用 主流 人 工 智能 中 提出 的 方法 生成 规划 和 决策 ， 另 一 个 是 反 
应 子 系统 ， 用 来 不 经 过 复杂 的 推理 就 对 环境 中 出 现 的 事件 进行 反应 。 通 常 ， 反 应 子 系统 的 优 
先 级 比 慎 思 子 系统 高 ， 以 便 它 对 环境 中 出 现 的 重要 事件 提供 快速 的 反应 。 

最 著名 的 一 种 混合 结构 是 由 Georgeff 和 Lansky 开发 的 PRS (Procedural Reasoning 
System)。 图 14. 10 给 出 PRS 的 结构 。 和 IRMA 一 样 ，PRS 也 是 一 个 “信念 一 愿望 一 意图 ”结构 ， 
它 也 有 一 个 规划 库 和 符号 表示 的 信念 、 愿 望 和 意图 。 信 念 是 一 些 关 于 外 部 世界 和 内 部 状态 的 
事实 (facts)。 这 些 事实 用 通常 的 一 阶 逻 辑 表示 。 愿 望 用 “系统 行为 ”表示 〔 而 不 是 静态 的 
目标 状态 )。 在 规划 库 中 包含 一 些 部 分 完成 的 规划 ， 叫 做 知识 块 KA (Knowledge Area)。 每 个 
知识 块 和 一 个 激活 条 件 联系 在 一 起 。 知 识 块 可 以 被 目标 驱动 的 或 数据 驱动 的 方式 激活 ; 知识 
块 还 可 以 是 “反应 式 ” 使 主体 可 以 快速 对 环境 的 变化 作出 反应 。 当 前 系统 中 激活 的 知识 块 就 
是 它 的 意图 。 这 些 数 据 结构 由 一 个 系统 解释 器 操纵 。 系 统 解释 器 负责 更 新 信念 、 激 活 知识 块 、 
执行 行动 。PRS 系统 曾 用 在 航天 飞机 维护 过 程 的 模拟 实验 中 。 
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意图 结构 效应 器 



























































图 14.10 PRS 的 结构 
另 一 个 著名 的 混合 结构 是 Ferguson 的 TouringMachine。 该 系统 中 的 主体 有 感知 和 行动 
两 个 模块 和 外 界 交 互信 息 ， 还 有 三 个 并 行 执行 的 控制 层次 : 反应 层 〈R)、 规 划 层 CPD. mE 
模 层 (M)。 每 个 层次 包含 对 世界 的 不 同 层次 的 抽象 模型 ， 用 来 实现 不 同 的 任务 。 反 应 层 用 来 
对 其 它 层 次 无 法 反应 的 突 发 事件 作出 快速 响应 。 规 划 层 构造 规划 以 实现 主体 的 目标 。 规 划 层 
有 两 个 部 件 : 一 个 规划 器 ， 一 个 集中 注意 力 的 机 制 。 集 中 注意 力 的 机 制 主要 用 来 限制 提供 给 
规划 器 的 信息 量 。 它 将 无 关 紧要 的 环境 信息 过 滤 掉 ， 从 而 提高 规划 器 的 效率 。 建 模 层 则 是 主 
体 对 其 环境 中 其 它 实体 的 模型 的 符号 表示 。 
在 TouringMachine 中 各 层次 之 间 是 完全 独立 的 , 并 行进 行 处 理 , 都 可 以 产生 相应 的 行动 。 
例如 ， 池 和 辑 推理 完全 由 建 模 层 实现 ， 而 和 其 他 层次 无 关 。 不 同 层 次 之 间 可 以 互相 传递 消息 ， 
并 骨 入 在 一 个 控制 框架 中 。 控 制 框架 通过 使 用 控制 规则 处 理 不 同 层次 提出 的 有 冲突 的 行动 建 
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在 这 些 系统 ! 

















14.4.5 INrERRAP 


EREA 











关子 系统 按 层 次 结构 排列 ， 层 次 越 高 的 子 


议 。 采 用 这 种 结构 的 系统 有 TouringMachine[Ferguson 1991] 和 InteRRaP [Muller 








1994] 等 。 


系统 处 理 抽象 程度 越 





















































作 能 力 结合 起 来 。Muller 考虑 INTERRAP 的 设计 原则 如 下 : 





- 根据 不 同 程度 的 抽象 和 复杂 程度 ， 采 |/ 
E. Ap 





e 不 仅 控制 
。 控制 过 程 采用 由 底 向 上 ， 即 当 任务 超过 本 层 的 能 力 时 ， 它 的 上 


过 程 是 多 









































* 每 层 使 用 
Int 
行为 层 


























况 给 予 反 应 。 


和 社会 模型 组 绢 


























j 三 层 结构 描述 主体 ; 

















下 层 的 操作 原 语 达 到 它 的 目标 。 











ERRAP 的 主体 结构 主要 由 
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德国 Fischer、Muller 和 Pischel 研制 了 一 种 混合 主体 结构 INrERRAP， 将 反应 、 慎 ! 








(BBL)、 本 地 规划 层 (LPL) 和 协作 规划 层 (CPL) 。 主 体 知 识 库 是 按 世 界 模型 、 


只 的 。 不 同 层次 对 应 于 主 


“IN 





体 不 同 的 功能 水 平 。 行 为 层 允 许 主体 对 一 定 的 外 界 情 











主体 的 世界 模型 与 它 的 环境 对 象 级 知识 结合 识别 事件 ， 侧 




















层 给 予 主体 长 
部 份 ， 这 可 以 进行 
知识 库 中 社会 模型 保存 的 其 





期 慎 











思 的 能 力 。 协 作 规划 层 最 后 完成 一 个 主体 的 规划 ] 
办 作 ， 解 决 冲突 。 




















协作 规划 层 运 | 

















STi BE 


它 主体 的 目标 、 技 能 和 承诺 。 











14.11 InteRRaP 主体 结构 


ww ai bbt. com DOOO000 


UR CN di o 


功能 ， 作 为 协作 规划 的 一 
世界 模型 和 心智 模型 的 知识 ， 同 时 使 用 


协作 规划 后 
(CFL? 


本 地 规划 层 
LFL? 


行为 层 
tBBL? 


世界 界面 


高 的 信息 。 例 如 ， 最 低层 的 子 系统 处 理 传感器 接受 到 的 原始 信息 ， 并 将 之 直接 映射 到 效应 器 
的 动作 上 ， 而 最 高 层 的 子 系统 则 处 理 中 长 期 的 规划 等 抽象 的 问题 。 
就 是 如 何 将 主体 的 各 个 子 系统 适当 地 嵌入 到 一 个 控制 结构 框架 中 ， 以 及 
间 的 信息 交互 。 


这 种 结构 中 最 关键 的 问题 
可 控制 各 个 层次 之 











思 和 协 























库 也 是 多 层次 的 ; 
一 层 就 发 生 控制 作用 ， 
世界 接口 、 控 制 占 和 知识 库 构 成 (图 14. 11)。 控 制 器 分 成 三 层 : 


心智 模型 





本 地 规划 
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14.4.6 MAPE 主体 结构 





生活 在 一 个 现实 或 虚拟 的 世界 中 的 主体 ， 会 遇 到 各 种 不 同 的 情况 。 主 体 除了 要 保持 对 紧 
急 情 况 的 及 时 反应 ， 还 要 使 用 一 定 的 策略 对 中 短期 的 行为 作出 规划 ， 进 而 通过 对 世界 和 其 它 
主体 的 建 模 分 析 来 预测 未 来 的 状态 ， 以 及 通过 通信 语言 实现 和 其 他 主体 的 协作 或 协商 。 我 们 
希望 这 些 功能 能 同时 存在 ， 并 行 地 执行 ， 以 提供 良好 的 实时 性 。 这 些 功 能 基本 上 是 可 以 独立 
的 ， 而 且 每 种 功能 需要 采用 不 同 的 算法 ， 所 以 ， 我 们 提出 一 种 主体 的 混合 结构 ， 即 在 一 个 智 
能 主体 中 有 机 地 组 合 了 多 种 相对 独立 、 并 行 执行 的 智能 形态 〈 如 图 14. 12 所 示 ) [Shi 1994]. 











































































































14. 4. 6. 1 部 件 构 成 











MAPE 是 一 种 混合 结构 的 主体 ， 每 个 主体 包含 感知 、 动 作 、 反 应 、 建 模 、 规 划 、 通 信 、 决 
策 等 模块 。 





























规划 
规划 l 
3f . 协作 或 E Fats 
2 PER ,预测 协商 P IN ae Pid 其 5 
建 模 一 一 决策 生成 — 5 通讯 -- 
L NI nn Ne m Heu 
' NET 智能 主体 
B a n el 5 、 
情况 Se 
感知 ”行动 
智能 主体 


外 部 m F 


图 14.12 MAPE 主体 的 混合 结构 

主体 通过 感知 模块 来 反映 现实 世界 ， 并 对 环境 信息 作出 一 定 的 抽象 。 根 据 信 息 的 类 型 ， 
感知 模块 将 经 过 抽象 的 信息 送 到 不 同 的 处 理 模块 。 如 果 感 知 到 的 是 简单 的 或 紧急 的 情况 ， 则 
言 息 被 送 到 反应 模块 。 反 应 模块 对 传 入 的 信息 立即 作出 决定 ， 并 将 动作 命令 送 到 行动 模块 。 
行动 模块 则 根据 传 入 的 动作 命令 作出 相应 的 动作 ， 对 世界 作出 影响 。 从 感知 行动 的 信息 传递 
过 程 构成 了 “反射 弧 ”。 

如 果 感 知 到 的 是 复杂 的 或 时 间 充 裕 的 情况 ， 则 信息 被 送 到 建 模 模 块 进行 分 析 。 建 模 模块 
中 包含 主体 对 世界 和 其 他 主体 所 建立 的 模型 ， 根 据 模型 和 当前 感知 到 的 情况 ， 主 体 可 以 对 短 
期 的 情况 作出 预测 ， 进 而 提出 相应 的 对 策 。 模 型 不 是 一 成 不 变 的 ， 主 体 根 据 感 知 的 情况 、 以 
往 的 经 验 修正 它 对 世界 和 其 他 主体 所 建立 的 模型 。 

规划 模块 是 一 个 重要 的 部 分 ， 它 根据 主体 的 目标 对 中 短期 行动 作出 规划 。 规 划 是 一 组 动 
作 序 列 ， 它 被 提交 给 决策 生成 模块 。 如 果 不 发 生意 外 情况 ， 则 主体 将 按 这 个 动作 序列 行动 。 
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如 果 发 生意 外 情况 《如 出 现 紧 急 情 况 ， 或 预测 出 的 情况 与 规划 时 的 假设 情况 不 同 )， 则 决策 模 
块根 据 需 要 让 规划 模块 重新 作出 规划 ， 或 者 暂停 规划 的 执行 。 

通信 主要 用 来 处 理 主体 之 间 的 信息 交换 。 通 信 语 言 中 包括 通知 、 请 求 、 询 问 、 回 答 、 致 
谢 等 多 种 类 型 的 语句 。 通 过 使 用 通信 语言 交换 信息 ， 可 以 实现 多 主体 的 协作 或 协商 。 

下 面 我 们 详细 讨论 反应 、 规 划 、 建 模 、 通 信和 决策 等 模块 的 结构 。 
1. 反应 模块 
反应 模块 的 存在 就 是 为 了 使 主体 对 紧急 或 简单 的 情况 作出 迅速 反应 ， 所 以 在 反应 模块 中 基本 
上 不 作 推理 ， 而 是 直接 由 感知 的 信息 映射 到 某 种 行动 。 如 果 使 用 知识 库 的 方法 ， 则 反应 模块 
由 一 系列 如 下 的 规则 构成 : 

RULE-Ri: IF 

感知 信息 条 件 子 句 
THEN 
行动 

我 们 用 神经 网 络 来 实现 反应 。 神 经 网 络 的 输入 参数 是 数值 化 的 感知 信息 和 自身 状态 ， 输 
出 参数 是 动作 的 编码 。 建 立 起 神经 网 络 后 ， 经 过 大 量 样本 的 训练 ， 使 它 对 一 些 常 见 的 情况 可 
以 作出 比较 合理 的 反应 ， 然 后 投入 使 用 。 这 样 在 遇 到 紧急 情况 时 ， 主 体 在 从 感知 到 行动 的 映 
射 过 程 中 实际 上 已 经 使 用 了 大 量 的 经 验 ， 所 以 一 般 会 作出 更 合理 的 反应 。 

通过 反应 产生 的 动作 具有 最 高 的 优先 级 ， 动 作 模块 将 立即 执行 ， 而 将 从 决策 模块 送 来 的 
动作 中 断 。 如 果 发 生 中 断 ， 决 策 模块 将 决定 是 重新 进行 规划 ， 还 是 继续 原来 规划 好 的 动作 序 
列 。 



































































































































































































































































































































2， 规 划 模 块 
主体 的 规划 模块 负责 建立 中 短期 的 行动 计划 。 主 体 的 规划 是 一 个 局 部 的 规划 。 局 部 性 体 
现在 两 个 方面 。 一 方面 ， 每 个 主体 根据 目标 集合 、 自 身 的 状态 、 自 己 对 世界 和 其 他 主体 的 模 
型 ， 以 及 以 往 的 经 验 规划 自身 的 行为 ， 而 不 是 由 某 个 主体 对 全 局 进行 规划 并 将 命令 分 发 给 其 
他 主体 。 男 一 方面 ， 主 体 并 不 需要 对 它 的 目标 作出 完全 的 规划 ， 而 只 要 生成 近期 的 动作 序列 
就 可 以 了 。 因 为 世界 是 运动 的 ， 很 多 情况 无 法 预料 ， 长 期 的 规划 很 可 能 会 因为 情况 的 变化 而 
失去 意义 。 如 图 14.13 所 示 ， 规 划 模 块 需要 从 目标 集合 、 世 界 的 模型 、 其 他 主体 的 模型 、 经 
验 库 ， 以 及 自身 的 状态 等 数据 结构 中 提取 信息 ， 经 过 局 部 规划 器 ， 产 生出 近期 的 动作 序列 ， 
送 交 给 决策 模块 。 

目标 集合 包含 主体 要 达到 的 目标 ， 表 示 为 G，6G;，…，6G, 的 形式 。 目 标的 排列 顺序 是 重要 
的 ， 它 决定 了 目标 的 优先 级 。 在 其 他 条 件 完全 相同 的 情况 下 ， 目 标 优先 级 的 不 同 可 能 会 产生 
地 异 的 规划 。 世 界 和 其 他 主体 的 模型 由 建 模 模块 提供 ， 它 使 得 主体 可 以 对 环境 的 变化 趋势 作 
出 预测 ， 并 反应 到 规划 中 。 经 验 库 是 一 些 范例 的 集合 。 每 个 范例 由 前 提 条 件 、 规 划 和 结果 评 
价 组 成 。 局 部 规划 器 总 是 试图 在 经 验 库 中 找到 有 和 当前 情况 最 为 类 似 的 前 提 条 件 的 范例 ， 然 
后 参考 其 规划 和 结果 作出 新 的 规划 。 如 果 找 不 到 前 提 条 件 和 当前 情况 的 差异 小 于 某 个 阐 值 S 
的 范例 ， 则 局 部 规划 器 只 得 尝试 新 的 规划 ， 并 记录 结果 。 
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经 验 库 | 目标 集合 















































主体 的 模型 ) | “局 部 规划 器 规划 
重新 规 | 
规划 划 标 
决策 生成 


图 14. 13 规划 模块 的 内 部 结构 

3. 建 模 模块 
建 模 模块 有 两 个 功能 ， 一 是 维护 和 更 新 主体 对 世界 和 其 他 主体 所 建立 的 模型 ， 二 是 根据 
当前 感知 的 信息 和 模型 对 近期 的 情况 作出 预测 ， 并 提出 行动 的 建议 。 图 14. 14 表示 了 建 模 模 
块 的 内 部 结构 。 

主体 的 世界 模型 只 是 该 主体 对 世界 的 认识 和 反映 。 这 种 世界 模型 开始 时 并 不 保证 一 定 正 
确 ， 也 不 一 定 具 有 全 部 信息 。 主 体 对 世界 的 模型 主要 包括 世界 的 拓扑 知识 〈 例 如 城市 的 地 网 )， 
以 及 世界 的 组 成 部 分 的 物理 、 化 学 、 生 物 等 方面 的 性 质 等 信息 。 对 于 其 它 主体 的 模型 ， 包 括 
主体 的 位 置 和 性 质 、 信 念 、 目 标 、 能 力 、 关 系 等 信息 。 正 如 前 面 所 说 ， 这 些 信息 有 可 能 是 不 
正确 的 或 不 完全 的 。 主 体 最 初 从 程序 设计 人 员 提 供 的 模型 库 中 得 到 关于 世界 的 基本 模型 ， 然 
后 在 生存 期 间 内 ， 通 过 感知 以 及 和 其 他 主体 的 通信 来 修正 横 型 。 
模型 提供 了 预测 的 基础 。 一 方面 模型 被 规划 模块 用 来 建立 行动 计划 ， 另 一 方面 ， 建 模 模 
块 使 用 模型 和 当前 感知 信息 预测 将 出 现 的 情况 ， 并 将 行动 的 建议 提交 给 决策 模块 。 


OER 世界 的 模型 
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模型 库 | (包括 其 他 规划 
主体 的 入 型 ) | 
模型 生成 和 维护 。 nl ”决策 生成 
通讯 ， 
“感知 


图 14. 14 建 模 模 块 的 内 部 结构 

4. ”通信 模块 

可 通信 性 是 主体 的 基本 特征 ， 而 且 通 信 语 言 的 完善 程度 和 灵活 性 直接 影响 到 主体 表现 出 

的 智能 程度 。 如 图 14. 15 所 示 ， 通 信 模 块 包括 语言 理解 、 语 言 生 成 、 物 理 通 信 、 以 及 词法 库 、 
语法 库 、 语 义 库 等 多 个 部 分 。 
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图 14. 15 通信 模块 的 内 部 结构 

主体 根据 词法 库 、 语 法 库 、 语 义 库 ， 对 通信 语言 进行 理解 ， 并 将 一 部 分 抽取 的 信息 送 交 
给 决策 模块 (如 其 他 主体 的 请 求 信息 〉 和 建 模 模 块 (如 其 他 主体 的 信念 信息 )。 对 于 一 些 基 本 
的 应 答 信 息 ， 则 由 通信 模块 直接 作出 反应 。 决 策 模块 生成 的 和 其 他 主体 的 协商 和 交互 信息 通 
过 语言 生成 模块 变 成 通信 语言 。 

我 们 前 面 所 讨论 的 规划 基本 上 是 单 主体 规划 ， 即 规划 只 针对 自己 进行 。 如 果 要 进行 多 主 
体 的 协作 ， 则 需要 进行 多 主体 规划 或 者 相互 规划 (Mutual Planning)。 关 于 这 方面 还 有 待 于 
进一步 研究 。 

5. 决策 模块 

决策 模块 不 是 对 主体 的 中 央 控 制 ， 而 是 负责 各 个 模块 的 协调 工作 。 它 的 输入 有 规划 模块 
生成 的 行动 计划 、 建 模 模 块 的 预测 和 行动 建议 、 以 及 通信 模块 的 请 求 等 。 它 的 主要 工作 是 冲 
突 检 查 和 消解 ， 并 决定 当前 的 动作 和 通信 。 

世界 是 随 着 时 间 的 推移 而 变化 的 ， 所 以 原 定 的 计划 和 当前 的 情况 ， 以 及 其 他 主体 的 请 求 
会 发 生 冲 突 。 这 时 ， 决 策 模块 根据 一 定 的 规则 对 冲突 进行 消解 。 例 如 ， 一 个 汽车 主体 正在 按 
计划 向 预定 目的 地 行驶 时 ， 感 知 到 另 一 汽车 占据 了 原 定 要 经 过 的 一 条 单行 道 ， 建 模 模 块 因 此 
建议 汽车 改道 。 这 时 决策 模块 根据 规则 ， 有 两 种 解决 方案 。 一 种 是 先 减速 行驶 ， 并 立即 发 消 
县 给 规划 模块 让 它 重 新 规划 ; 如 果 时 间 充 裕 ， 则 可 以 决定 暂停 计划 的 执行 ， 等 另 一 汽车 离开 
单行 道 后 再 继续 执行 预定 计划 。 

任务 的 承接 也 由 决策 模块 完成 。 任 务 一 般 以 其 他 主体 的 请 求 的 方式 进入 决策 模块 。 决 策 
模块 根据 规则 决定 是 否 接受 任务 。 如 果 接 受 ， 再 决定 其 优先 级 ， 然 后 修改 目标 集合 ， 将 任务 
放 在 合适 的 位 置 。 如 果 不 接受 ， 则 发 消息 给 通信 模块 让 它 生成 “婉拒 ”的 通信 语句。 
部 件 构成 
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14. 4. 6. 2 主体 内 核 





在 MAPE 中 我 们 提出 一 种 “插件 式 ” 地 构造 主体 的 方法 [289] 。 我 们 注意 到 ， 虽 然 在 许多 
方面 主体 之 间 是 不 同 的 ， 但 是 它们 确实 有 一 些 相同 的 特性 。 如 通信 方式 、 执 行 机 、 心 智 状 态 
(mental state) 的 表示 等 可 以 是 相同 的 。 不 同 之 处 仅仅 在 于 作 决 策 的 策略 、 它 们 能 做 什么 
动作 、 知 识 的 表示 等 。 通 过 分 离 这些 部 分 ， 我 们 可 以 定义 一 个 对 所 有 主体 都 相同 的 主体 内 核 
(Agent Kernel)。 在 主体 内 核 上 定义 一 个 接口 ， 使 得 与 领域 相关 的 决策 方法 、 功 能 模块 等 可 
以 方便 地 联接 到 主体 内 核 上 。 图 14. 16 对 主体 内 核 进行 了 形象 的 说 明 。 
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图 14.16 主体 内 核 示 意图 




















每 个 主体 由 一 个 通用 的 主体 内 核 (Agent Kernel) 和 许多 功能 模块 (Function Modules) 
构成 。 主 体内 核 由 内 部 数据 库 、 邮 箱 、 黑 板 、 执 行 机 等 部 分 组 成 。 其 中 ， 内 部 数据 库 中 包含 
主体 自身 的 信息 、 目 标 集合 、 世 界 的 模型 等 信息 ;邮箱 提供 主体 和 环境 以 及 其 他 主体 的 通信 ; 















































黑板 提供 主体 内 部 各 个 功 人 模块 之 间 的 通信 ;执行 机 则 完成 消息 分 派 、 

















功能 模块 的 执行 控制 














等 。 各 个 功能 模块 都 是 相对 独立 的 实体 ， 由 执行 机 启动 后 即 完全 六 























调 工 作 。 











利用 这 样 的 方法 ， 可 以 方便 地 实现 我 们 所 提出 的 复合 式 结构 的 主体 。 
建 模 、 规 划 、 通 信 、 决 策 生成 等 都 以 功能 模块 的 形式 加 入 主体 中 。 它 们 可 






































语言 、 数 据 结构 ， 只 要 支 持 同样 的 黑板 格式 就 可 以 了 。 
下 面 我 们 对 主体 内 核 的 结构 进行 进一步 的 说 明 。 
1. 主体 的 内 部 数据 库 

















7 









































态 的 描述 等 。 





F 行 地 执行 ， 并 通过 黑板 协 


感知 、 行 动 、 反 应 、 











以 使 用 不 同 的 编程 























主体 的 内 部 数据 库 包 括 主体 对 上 自身 的 描述 ， 主 体 对 世界 状态 的 描述 ， 主 体 对 其 它 主体 状 











每 个 主体 都 有 一 个 描述 ， 形 成 主体 数据 库 中 的 数据 集合 。 在 所 

















| 象 的 层次 上 对 主体 进行 


























述 ， 主 要 包括 : 
主体 自身 的 名 字 、 邮 件 箱 地 址 等 ; 


























H- Li 

















E 体 的 能 力 《〈 即 它 所 控制 的 功能 块 ) 的 名 字 及 其 描述 〈 关 键 字 、 路 径 、 运 行 参 数 等 等 )， 


















































或 运行 功能 模块 等 等 。 


























在 一 个 多 主体 系统 中 ， 主 体 不 是 孤立 地 存在 ， 而 是 处 于 一 个 团 





体 〈 即 “主体 社团 (Agent 





Community)” 之 中 。 为 了 通信 并 与 其 他 主体 协作 ,每 个 主体 都 需要 有 





























该 描述 并 不 是 完整 的 描述 ， 仅 需要 描述 该 主体 所 能 感知 的 信息 。 
据 库 中 ， 它 们 不 是 由 系统 开发 人 员 预 先 定义 的 ， 而 是 在 主体 的 4 
































这 














功能 模块 当前 的 状态 。 功 能 模块 可 以 处 于 运行 态 、 准 备 好 、 完 成 或 阻塞 态 。 
主体 的 状态 。 主 体 的 状态 可 以 是 检查 邮件 箱 、 检 查 黑 板 、 正 在 进行 规划 、 正 在 进行 推理 























个 对 主体 社团 的 描述 。 
些 信息 位 于 主体 的 内 部 数 

















ETF 


























是 一 些 记录 的 集合 。 每 个 记录 包括 : 
主体 的 名 字 : 

IAA HELE; 

与 本 主体 的 关系 。 

通信 费用 因子 。 
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期 间 动 态 建立 的 。 该 信息 








在 实现 时 ， 我 们 采用 C 十 十 语言 定义 主体 基本 类 AGENT， 主 体 的 内 部 数据 库 就 是 它 的 类 中 








的 封装 数据 。 主 体 类 的 定义 如 下 : 











typedef struct capa { // 主 体能 力 结构 
char *name; // 主 体能 力 的 名 称 
int type; // 主 体能 力 的 类 型 (可 以 有 BUILT IN FM ~ INVOKED FM, 
EVERLASTING FM 三 种 ) 
char *path; // 对 于 BUILT INFM 为 NULL; 对 于 INVOKED FM 和 





EVERLASTING FM， 为 外 部 功能 模块 的 运行 文件 路 径 
char *keywords; // 能 力 的 描述 关键 字 


struct capa *next; 









































} CAPABILITY; 
typedef struct FM queue { // 功 能 模块 队列 结构 
int queue_id; // 功 能 模块 的 唯一 队列 标识 符 
int stub id; // 请 求 的 存根 号 
char *request agent; // 请 求 的 主体 名 称 
CAPABILITY *func; // 对 应 的 功能 模块 
int priority; // 优 先 级 
int status; // 运 行 状态 ， 有 READY. RUNNING , FINISHED. BLOCKED 
等 值 
pid t fpid; // 运 行 中 的 功能 模块 的 PID 
char *argument; // 运 行 参数 
struct FM_queue *next; // 功 能 模块 队列 是 一 个 双向 队列 
struct FM queue *prior; 
} FM QUEUE; 
typedef struct acquaintance { // 其 它 主 体 的 信息 
char *agent; / / SEA A 
char *url; // 地 址 
int relationship; // 和 本 主体 的 关系 因子 
int cost; // 通 信 费 用 因子 
struct addressbook *next; 
} ACQUAINTANCE; 
class AGENT { // 主 体 类 
private: 
FM QUEUE *Queue head, *Queue tail; ”// 功 能 模块 队列 的 队 首 和 队 尾 指针 
ACQUAINTANCE *Acquaintance; // 其 它 主体 的 队列 的 首 指针 


int Queue count; // 当 前 功能 模块 队列 的 长 度 
BBBUFFER *Blackboard;  // 黑 板 指 针 





int Blackboard key; // 黑 板 关 键 字 
int Status; // 主 体 的 状态 
public: 


char *Name; // 主 体 的 名 字 
char *Url; // 主 体 的 地 址 
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char *Facilitator; 
CAPABILITY *Capabilities; 


AGENT (char *AgentDescriptionFile) ; 
// 析 构 函 数 


"AGENT () ; 

















void CheckMailbox(; 


void CheckBB () ; 
void Action(); 

void Planning(); 
void Modeling(); 





// 通 信服 务 员 的 地 址 


// 主 体 的 能 力 队 列 首 指针 


// 检 查 邮 箱 函 数 





// 检 查 黑 板 函 数 
// 复 合式 主体 的 内 置 功能 模块 : 行动 


void Decision Making(); 





// 复 合式 主体 的 内 置 
// 复 合式 主体 的 内 置 


int SendMessage(char *ToWhom, c 





char *LookupAcquaintance (char *agentname) ; 
































// 复 合式 主 





har *Performati 


// 主 体 构造 函数 


功能 模块 : 规划 
功能 模块 ， 建 模 




















KARDA 











ve, 





CHER: 决策 生成 


char *Content) ; 


// 在 本 地 查找 主体 地 址 








// 发 送 消 


void UpdateAcquaitance (char *agentname, char *url, int relationship, int cost); 











息 
// 更 新 或 添加 其 它 主 体 信息 
hs 
2. 主体 执行 机 
该 部 分 的 功能 类 似 于 操作 系统 
执行 相同 的 控制 循环 ， 步 又 轴 
初始 化 。 初 始 化 工作 包括 : 
读 入 主体 定义 文件 ; 
启动 主体 间 通 信 ; 
初始 化 黑板 ; 
初始 化 各 种 队列 ; 



















































































FP 的 进程 管理 ， 但 是 其 管理 的 目 




















将 所 有 的 EVERLASTING_FM 以 READY 态 加 入 功能 模块 队列 。 


根据 消 , 


REQUEST、 INQUIRE、 RESULT、 ACKNOWLEDGEME 
EE A ABLE E 


如 果 消 ， 
如 果 消 ， 








如 果 消 ， 
回复 ; 
如 果 消 ， 








息 是 INFORM 











息 是 RESULT 


检测 邮件 箱 。 如 果 不 空 ， 取 出 第 一 条 消息 。 
昌 的 类 型 执行 相应 的 动作 。 消 息 遵 循 SACL 语言 所 规定 的 语法 


T 等 等 类 型 

















息 是 REQUEST 
如 果 该 功能 模块 的 状态 是 RUNING, Bl 
能 模块 还 没有 启动 ， 则 将 该 功能 模块 以 READY 态 操 
是 被 BLOCKED， 则 将 它 激活 ; 
息 是 INQUIRE 























TF IL Eo 





例如 : 

















标 是 功能 模块 。 每 个 主体 


和 语义 ， 有 INFORM, 


板 上 以 便 所 有 功能 模块 可 以 读 取 ; 












































则 表示 它 要 询问 本 主体 的 能 力 或 状态 ， 这 时 应 根据 情况 给 出 





则 表示 对 方 请 求 本 主体 的 某 个 功能 模块 执行 某 种 操作 。 这 时 
| 将 该 消息 通过 黑板 传递 给 它 请求 的 功能 模块 ， 如 果 该 功 
入 功能 模块 队列 的 尾部 ， 妇 





I 果 该 功能 模块 








示 它 是 本 主体 的 内 核 或 某 个 功能 模块 询问 或 请 求 的 结果 ， 


应 该 根据 情况 保存 或 传递 给 相应 的 功能 模块 。 如 果 该 功能 模块 处 于 BLOCKED 态 等 待 这 个 结果 ， 


则 还 要 将 它 激活 ; 
息 是 SHUTDOWN 类 型 ， 则 于 





"iH. 
的 意愿 ， 























END AGENT 类 型 ， 
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般 应 遵守 ， 转 第 7 步 。 
检测 黑板 。 如 果 有 消息 















































RE 示 通 信服 务 嚣 要求 本 主体 中 止 运行 。 这 通常 是 操作 人 员 


\ 需 要 发 出 ， 把 该 消息 发 出 并 为 
则 表示 某 个 功能 模块 请 求 本 主体 
检测 功能 模块 队列 ， 选 择 适当 的 功能 模块 执行 。 























HE 赋 上 适当 的 消 
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息 类 型 。 

















停止 运行 。 如 果 接 受 这 个 请 求 , 则 转 第 7 步 。 
功能 模块 将 在 后 台 一 直 运 行 ， 直 到 它 终 








止 或 被 自身 阻塞 。 

转 到 第 2 步 。 
停止 运行 。 这 包括 : 
如 果 还 有 功能 模块 在 运行 ， 则 首先 中 止 这 些 进程 ; 
向 通信 服务 器 发 出 通知 并 中 止 通信 ; 

保存 信息 、 释 放 内 存 等 。 
























































3. 功能 模块 的 状态 转换 

一 个 主体 可 以 有 多 个 功能 模块 。 这 些 功 能 模块 都 是 预先 编译 好 的 可 执行 代码 。 它 们 通过 
黑板 和 主体 内 核 交 互信 息 。 在 MAPE 中 ， 我 们 还 提供 了 一 套用 来 操纵 黑板 的 编程 接口 函数 库 。 
在 功能 模块 中 使 用 这 些 函 数 就 可 以 完成 和 主体 内 核 的 通信 。 

功能 模块 是 一 些 进 程 ， 它 们 的 状态 由 自身 和 主体 内 核 一 起 控制 。 图 14. 17 是 功能 模块 的 
状态 转换 图 。 虽 然 其 中 的 状态 的 名 称 和 操作 系统 中 使 用 的 进程 状态 名 称 相 同 ， 但 是 它们 的 意 
义 并 不 一 定 相 同 。 

“静止 态 〈Static)” 就 是 该 功能 模块 没有 运行 而 具 是 停留 在 磁盘 上 时 的 状态 。 这 个 状态 
在 FM QUEUE 中 并 不 会 出 现 ， 所 以 用 虚线 表示 。 

“MAAS 〈Ready)” 就 是 主体 内 核 将 该 功能 模块 作为 一 个 结 点 加 入 功能 模块 运行 队列 的 
尾部 时 的 状态 。 这 时 该 功能 模块 仍然 停留 在 磁盘 上 。 

主体 内 核 的 执行 机 的 第 5 步 是 “选择 适当 的 功能 模块 执行 >”， 同时 可 能 有 很 多 处 于 “就 绪 
态 ” 的 功能 模块 ， 主 体内 核 将 根据 一 定 的 规则 (如 优先 级 、 请 求 主体 的 关系 因子 等 ) 选择 
个 功能 模块 执行 。 所 以 一 个 处 于 “就 绪 态 ”的 功能 模块 并 不 一 定 立 即 被 执行 。 直 到 主体 内 核 
选择 了 它 ， 它 才 进 入 “运行 态 (Running)” 即 真正 作为 一 个 进程 出 现在 系统 中 。 功 能 模块 运 
行 结束 后 就 仍然 回 到 “静止 态 ” 
如 果 功 能 模块 需要 等 候 一 个 请 求 的 结果 ， 它 可 以 将 自己 阻塞 ， 进 入 “阻塞 态 ”” 阻塞 态 的 
功能 模块 将 不 能 进行 任何 计算 ， 一 直到 它 被 激活 。 
被 自己 阻塞 的 功能 模块 必须 由 主体 内 核 激活 。 在 接收 到 对 它 的 请 求 或 者 给 它 的 结果 时 ， 
主体 内 核 将 激活 它 。 被 激活 的 功能 模块 直接 恢复 到 运行 态 。 






























































































































































































































































































































































































Everlasting FM 
或 请 求 








/静止 态 Vs 被 主体 内 核 
wo Sti 选择 运行 



















被 主体 内 核 激活 












阻塞 态 
Blocked 


运行 态 


Running 









运行 结束 








14.17 功能 模块 的 状态 转换 图 





4. 主体 与 功能 模块 之 间 的 接口 

主体 内 核 与 功能 块 之 间 的 通信 是 通过 黑板 完成 的 。 我 们 为 内 核 与 功能 模块 的 通信 提供 了 
一 套 标 准 的 编程 接口 ， 使 得 功能 模块 可 以 很 方便 地 实现 和 内 核 以 及 其 它 主体 的 通信 。 这 样 做 
的 重要 意义 在 于 ， 原 来 编制 的 任何 程序 只 要 做 少量 修改 就 可 以 作为 任何 一 个 主体 的 功能 模块 。 
这 使 得 用 户 不 需要 每 次 为 主体 开发 新 的 程序 ， 从 而 很 好 地 实现 了 软件 的 复 用 和 移植 。 这 正 是 
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“插件 式 ” 构 造 主体 的 方法 的 核心 精神 。 
更 进一步 ， 如 果 积 累 了 大 量 的 功能 模块 ， 忆 
问题 的 “功能 模块 库 ?。 这 些 模块 可 以 随意 组 合 到 主体 内 核 上 形成 具有 

















A. 黑板 


一 个 主体 可 以 有 多 个 功能 模块 。 这 些 功 能 模块 都 是 预先 编译 好 的 可 
也 是 一 个 可 执行 文件 。 它 们 运行 在 不 同 的 地 址 空间 之 中 。 它 们 






















































































Bb 么 可 以 形成 一 种 比 “ 类 库 ” 更 为 高 级 的 面向 











某 种 功能 的 主体 。 


执行 文件 。 主 体内 核 
之 间 交 换 信息 必须 通过 共享 内 


存 或 者 共享 文件 的 方式 。 由 于 共享 内 存 操作 比 共 享 文件 操作 要 快 得 多 ， 而 且 更 易于 进行 并 发 























控制 ， 所 以 我 们 采用 共享 内 存 的 方式 来 传递 主体 内 核 与 功能 模块 ， 以 及 两 个 功能 

















消息 。 这 块 共享 内 存 就 被 命名 为 “黑板 ” 














头 文件 ， 才 能 进行 有 关 黑 板 的 操作 。 


黑板 结构 和 处 理 函 数 由 “bpapi.h” 定 义 ， 所 以 主体 内 核 和 每 个 功能 模块 都 应 ; 





LER [RTI 


玄 包 含 这 个 





























消息 ， 称 为 “黑板 条 目 ”(Blackboard Item, {aj BB_ITEM)。 黑 板 条 目的 定义 如 下 : 


typedef struct { 
char flag; 
int type; 
int stub_id; 
int queue_id; 
char dest [AGENTNAMESIZE] ; 
char content [CONTENTSIZE] ; 
} BB_ITEM; 





dn. 
CN . 



































中 划分 为 一 些 同样 大 小 的 区 域 。 这 些 区 域 | 















































flag 表示 该 条 目 当 前 是 否 正 被 使 用 ， 其 值 可 以 为 USING 和 NOT_USING。 
type 表示 该 条 目 中 的 信息 的 类 型 ， 通 常 由 表示 信息 源 和 目的 和 表示 信息 的 功能 
























































组 成 。 预 先 定义 的 值 有 : 
表示 信息 源 和 目的 的 常量 : 














FROM KERNEL TO FUNC 从 内 核 到 功能 模块 
FROM FUNC TO KERNEL 从 功能 模块 到 内 核 
FROM_FUNC_TO_FUNC ”从 功能 模块 到 《〈 另 一 个 ) 功能 模块 











表示 信息 的 功能 的 常量 : 


































































































ENDFUNC 结束 功能 模块 

TELL PID 将 功能 模块 的 PID 通知 内 核 
BLOCKFUNC 阻塞 功能 模块 

ENDAGENT 结束 功能 模块 ， 同 时 结束 整个 主体 
RESULTTYPE CONTENT 中 是 结果 信息 
REQUESTTYPE CONTENT 中 是 请 求 信息 
PINGAGENT 查看 某 主 体 是 否 存在 

FINDAGENT 按 功 能 模块 的 关键 字 碍 找 主体 
OTHER 非 保留 类 型 ， 由 功能 模块 解释 























例如 ， 功 能 模块 要 向 内 核 通知 PID， 使 























FROM FUNC TO KERNEL | TELL PID 





stub id 是 一 个 整 型 域 ， 它 在 不 同 的 消息 类 型 之 下 有 不 同 的 意义 : d 
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JI fie 
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来 存放 


I 两 部 分 


E RESULTTYPE 和 


REQUESTTYPE 中 ， 它 表示 结果 或 i 
queue. id 用 来 指示 功能 模块 在 内 核 的 执行 队列 中 的 位 置 。 


青 求 的 存根 号 ; 在 TELL_PID 





Egi 























dest 用 来 存放 一 个 主体 的 名 称 。 

















content 用 来 存放 消息 的 内 容 。 
黑板 的 结构 定义 如 下 : 


typedef struct { 
int stub count; 
char semaphore; 

BB ITEM bb[BBNUMBER] ; 
} BBBUFFER; 

Hd 


stub count } 





H: 




















Jxiuhmmpd. UE 
semaphore 是 一 个 信号 量 , 通过 它 可 以 封锁 对 黑板 的 读 写 ， 以 避免 因 
。 它 的 值 可 以 为 USING 和 NOT_USING。 














bb 是 BBNUMBER 个 黑板 条 目的 数组 。 


B. 功能 模块 


核 一 
可 以 有 两 种 类 型 
(1) INVOKED_FM 














XF 


存在 。 如 果 有 别 的 主体 或 者 同一 主体 内 的 别 的 功能 模块 请 求 它 的 
般 说 来 (但 是 并 不 一 定 这 档 


局 动 它 。 





> 
Ko 

E 
个 - 




















求 时 再 次 由 主体 内 核 

















显然 ， 这 种 功能 模块 的 好 处 在 了 





功能 模块 (Function Module， 人 简称 FM) 
起 构成 了 一 个 主体 。 功 能 模块 通过 黑板 和 主 





E 


^E 


一 些 预先 编译 好 





| 





H 





RAN fie DH PID. 


[CS 


成 新 的 唯一 的 存根 号 。 





并 发 操作 而 引起 的 错 





的 可 执行 文件 ， 它 们 和 主体 内 


体内 核 或 其 他 功能 模块 交换 信息 。 功 能 模块 





H 




















H Be 


E), IXH 





功能 模块 在 执行 完 人 




















F 它 在 没有 任务 时 不 占 





























功能 模块 在 主体 启动 时 并 不 同时 启动 ， 而 只 是 登记 一 下 它 的 








局 动 


功能 ， 则 主体 内 核 负 责 
务 后 就 结束 运行 ， 直 到 有 











系统 资源 。 它 适合 于 进行 不 需要 交互 


的 单项 计算 或 者 操作 ， 而 不 太 适 合 于 交互 式 操 作 或 有 图 形 界 面 的 功能 模块 。 


(2) EVERLASTING FM 这 下 
EfE)， 它 循环 检查 黑板 上 是 否 





这 机 





















































也 会 和 主体 一 起 结束 运行 。 如 果 是 这 样 ， 则 在 结束 之 前 ， 它 可 以 调用 
主体 内 核 结束 运行 。 如 果 主 体内 核 已 经 要 结束 运行 时 ， 还 有 功能 模块 没有 结束 ， 则 3 





会 杀 死 所 有 功能 模块 。 














模块 ， 而 缺点 正在 于 它 寿 
主体 内 核 在 启动 功 











能 模块 的 “身份 证 ”， 功 能 模块 




















和 INVOKED FM 相反 ， 这 种 功能 模块 的 好 处 在 于 它 适合 于 交互 式 操 作 或 有 
E 没 有 任务 时 仍然 占 月 
EE 模块 时 将 赋予 它 一 个 唯一 的 “queue id”。 这 个 queue id 相当 于 功 











日 系统 资源 。 












































能 模块 要 利用 黑 
须知 道 它 的 “关键 字 ” 所 以 主 
块 ， 而 以 后 的 所 有 通信 都 通过 



















































































中 功能 模块 在 主体 启动 时 同时 启动 。 一 般 说 来 (但 是 并 不 一 定 
有 给 它 的 消息 ， 如 果 有 则 进行 相应 的 处 理 。 通 常 这 种 功能 模块 
“End agent" KOMAN 

















体内 核 








Z] 


形 界 面 的 功能 

















在 黑板 上 传递 消息 时 必须 使 用 它 来 表明 自己 的 身份 。 另 外 ， 功 
各 黑板 共享 内 存 附着 在 它 的 地 址 空间 中 。 要 附着 共享 内 存 ， 必 





体内 核 在 启动 功能 模块 时 要 通过 
RIRIN. 





















































根据 两 种 功能 模块 的 不 同 用 途 ， 主 体内 核 在 启动 它们 时 使 月 
对 于 INVOKED_FM， 命 令 行 参数 是 : 

argv[0] 一 字符 串 ， 功 能 模块 的 运行 文件 名 

argv[1] 一 整 型 ， 功 能 模块 的 queue id 

argv[2] 一 整 型 ， 黑 板 关键 字 
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命令 行 传递 一 些 参数 给 功能 模 


379 


argv[3] 
argv[4] 
argv[5] 
对 于 EVERLA 


argv[0] 





argv[1] 





argv[2] 



































C. 通过 黑板 进行 信息 传递 
MAPE 系统 中 为 用 户 提供 了 很 多 用 于 通过 黑板 进行 信息 


和 注意 事项 如 下 : 
功能 模块 启动 后 应 该 调用 Init FM, 该 函数 将 进行 附着 黑板 , 向 主体 内 核 报告 PID 等 操作 ; 
功能 模块 结束 时 应 该 调用 Shutdown_FM， 该 函数 将 进 











块 结束 的 消 ， 


如 果 功 能 模块 结束 时 同 





] 一 整 型 ， 请 求 的 存根 号 〈stub_id) 

一 字符 串 ， 请 求 主体 的 名 字 

] 一 请 求 参 数 〈 类 型 不 定 ， 由 功能 模块 自己 解 
STING_FM， 命 令 行 参 数 是 : 

一 字符 串 ， 功 能 模块 的 运行 文件 名 

] 一 整 型 ， 功 能 模块 的 queue_id 

] 一 整 型 ， 黑 板 关键 字 
















































































E SERIE, 

















Iz 











INVOKED FM, 则 在 启动 时 的 命令 行 
xs HH 结果 消息 ; 
任何 一 个 主体 ， 主 体 中 的 任何 一 个 ] 














时 希望 主体 结束 运行 ， 应 该 调 
向 主体 内 核 报告 功能 模块 结束 的 消息 、 同 时 请 求 主体 内 核 台 
作为 客户 方 ， 要 请 求 另 一 个 主体 的 某 个 功能 ， 应 该 使 
一 个 请 求 存 根 。 然 后 用 
作为 服务 方 ， 可 以 用 GetMessageF 


GetResultFrom 





























RO 











传递 的 函数 。 创 建 主体 时 编程 规则 






































行 释放 黑板 ， 向 主体 内 核 报告 功能 模 




















寺 束 运行 ; 


] End_agent， 该 函数 将 释放 黑板 、 
























































时 既是 客户 方 又 是 服务 方 。 


时 如 果 没 有 运行 参数 ， 则 它 将 寻找 缺 省 


5. 主体 定义 文件 
主体 定义 文件 是 一 个 纯 文本 文件 ， 其 缺 省 的 名 称 应 该 是 “< 主体 名 >. cfg”。 主 体内 核 局 动 
的 主体 定义 文件 。 如 果 有 参数 ， 则 以 参数 作为 主体 定 











] PutRequestToBB 函数 。 该 函数 返 


BB 函数 取 回 该 请 求 的 结果 ; 
romBB 函数 取 回 一 个 对 它 的 请 求 消息 (如 果 是 

















参数 中 可 以 获得 第 一 次 请 求 的 消息 )。 然 后 用 PutResultToBB 
































义 文件 的 名 称 。 






































主体 定义 文件 可 以 由 用 户 用 对 


定义 主体 的 各 种 重要 参数 ， 包 括 : 
AGENTNAME = 《< 主体 名 称 > 
AGENTURL = 《本 主体 的 URL> 


FACILITATOR 





















































功能 模块 都 可 以 为 客户 方 ， 也 可 以 为 服务 方 ， 或 者 同 























F 工 填写 ， 也 可 以 用 主体 构造 工具 自动 生成 。 主 体 定 义 文 件 


“通信 服务 器 的 URL> 














CAPABILITY =《 功 能 名 称 >， 《类 型 >, 《运行 文件 路 径 >, 《关键 字 >[,，《 关 键 字 >，...] 
BLACKBOARDKEY =《 黑 板 关 键 字 〈 整 型 值 ) > 





智能 物 到 





14. 























5 主体 通信 语言 ACL 


主体 基金 FIPA (Foundation for Intelligent Physical Agents) 是 一 个 在 瑞 


























士 日 内 瓦 注册 的 非 启 利 协 会 [FIPA 1996]。 它 的 目的 是 为 了 促进 基于 主体 的 应 用 、 服 务 和 设备 
的 成 功 实 现 。FIPA 通过 制定 能 及 时 获得 的 国际 承认 的 规范 


大 限度 地 增 大 基于 主体 的 应 用 、 服 务 和 设备 的 互 操作 性 。 


个 合作 成 员 ， 
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来 达到 这 一 目标 ， 这 种 规范 可 以 最 

















RIE 1999 年 4 H, FIPA 已 有 50 多 


























他 们 来 自 全 世界 12 个 国家 。 
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FIPA97 规范 定义 了 一 种 语言 和 支持 ] 











E 如 协议 , 














体 技术 对 这 类 主体 采用 了 一 种 高 
作用 ， 例 如 入 与 人 之 间 的 通信 。 
低层 和 中 间 层 的 服务 ， 例 如 网 络 
































JARWA, 


它 的 许多 思 ? 


用 于 智能 软件 主 





体 相 互通 信 


。 软 件 主 














想 都 来 源 于 采用 








本 规范 并 
t 








信 动 作 的 比特 序列 的 这 类 服务 都 是 假设 存在 的 。 





1 





‘F 























对 于 软件 主体 没有 单 
定义 的 通信 语言 用 于 支持 和 
目标 驱动 行为 

动作 过 程 的 自主 决定 
通过 协商 和 委托 进行 交互 
心智 状态 模型 ， 例 如 信念、 
对 于 环境 和 需求 的 适应 性 


的 、 
































14. 5. 1 主体 间 通 信和 概述 





抽象 的 主体 特 怕 
态度 描述 。 在 FIPA 规范 
(1) 信念 表示 一 组 主 





ZRH 


他 H 














~ 





(2) 不 确定 性 表示 一 组 主体 不 
和 定 。 值 得 注意 的 是 ， 不 确定 性 并 没有 妨碍 
和 地 说 ， 不 确定 ， 





假 的 命题 表示 为 合 题 否定 的 不 胡 
程度 支持 命题 的 特别 不 确定 信息 
一 种 利 月 



































(3) 意图 表示 一 种 选择 ， 怠 








接受 了 这 种 意图 

状态 的 产生 。 
对 于 一 个 给 定 的 命题 P， 

排斥 的 。 

此 外 ， 主 体型 

主体 的 行为 来 实现 自 























日 不 同 表达 方案 ， 讨 论 不 确 


相信 了 P， 相 信 非 P， 














通 月 


外 议 ， 传 输 服务 等 。 事 实 上 ， 用 于 物理 














它 方式 的 社会 交互 
试图 定义 通常 与 分 布 式 软件 系统 之 间 通 信 相 关 的 
传输 组 成 交互 主体 通 
































命题 ， 


能 肯定 为 真 或 假 f 


Ke H 











ER, # 
定 信 ， 


或 者 主 


NUN, BRE. 


























体 愿 望 为 真 和 目 














wa 
对 其 它 主 体 行为 的 影响 是 由 














dk BE 


息 的 机 制 。 因 此 ， 通 信和 动作 初 
FIPA 定义 的 消息 1 


信 动 作 试图 平衡 定义 的 一 般 性 、 























由 一 个 主体 向 另 一 个 主体 实施 的 。 执 行 


一 组 精心 定义 的 核心 各 


IA 


P AIA 

















意图 、 愿 望 、 规 划 和 承诺 


E， 即 没有 预先 规定 任何 其 体 的 主体 执行 模式 和 认 知 结构 , 可 以 用 3 
主体 的 心智 态度 
体 接受 为 真 的 


述 如 下 : 
接受 为 假 的 


命题 


表示 为 相信 这 个 


的 定义 ， 但 是 主体 行为 的 一 些 特 性 是 广泛 接受 的 。FIPA 
I 促进 这 些 行为 。 这 些 特性 包括 但 不 限于 这 些 : 


FE 体 的 心 





命题 的 否定 。 




















题 ， 但 是 更 倾向 于 真 ， 而 更 倾向 了 

















题 








IT 


用 具有 某 利 











HB 





SB VERI 

















昌 的 最 小 承诺 机 制 。 


S 
REA 





性 为 主体 提供 了 





H 








前 不 认为 是 真 的 一 个 或 
的 主体 将 形成 一 个 行动 计划 ， 而 这 一 行动 计划 将 导致 它 的 选择 所 指示 的 社 

















PELARE P 的 不 确 

















LE 解 并 且 能 够 执行 一 定 的 行动 。 在 分 布 式 系统 中 ， 一 个 主体 仅 能 
己 的 意图 。 

















组 社会 特性 。 


LZ 
Ba 











定 等 态度 是 本 


IRA 


通 

















一 种 行为 的 特殊 类 ， 称 为 通信 动作 的 行为 实现 的 。 通 信 动 作 

















个 通信 动作 


的 机 制 ， 简 要 地 说 就 




















始 者 和 接受 者 的 角 

















色 通 常 分 别 表示 为 消息 的 发 送 者 和 接收 者 。 





合 产 生日 





iS 








表达 能 力 和 简单 











系 。 消 息 类 型 


DORE 
消息 内 容 的 含义 。 
天 了 























任何 保证 的 。 

















前 提 条 件 这 个 词 来 表达 的 。 但 是 ， 


发送 者 的 心智 态度 和 从 发 送 者 的 观点 对 接收 者 心智 态度 产生 的 
因为 发 送 者 和 接收 者 都 是 独立 

















IE] 


a ER RUSO AE | 


























服 


TT 








主体 技术 对 于 复杂 系统 行为 
是 以 这 一 观点 为 基础 。 伪 





4] 如 ， 本 文 描述 的 通信 动作 用 了 











和 交互 操作 的 贡献 尤 





上 来 ， 它 表示 
生 ， 以 及 对 于 主体 姑 


主体 管理 


组 通信 
F 发 者 的 








是 发 送 编码 动作 








动作 ， 而 这 组 通 


易 懂 性 之 间 的 关 

















定义 了 被 执行 的 通信 动作 。 结 合适 当 的 领域 知识 ， 通 信 语 言 可 以 











期 户 
的 , 














两 个 主体 通过 交换 消息 彼此 进行 通信 ， 它 们 必须 有 一 个 消息 传递 公共 会 
FIPA 技术 委员 会 1 

















进行 的 。 


使 接受 者 确定 








结果 在 通信 动作 
所 以 期 望 的 结果 
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PS 


消息 传输 


表现 在 高 层 交 互 上 ，FIPA 提出 的 ACL 




















通知 已 相信 的 事实 、 
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协商 协议 等 。 这 里 提 到 的 交互 机 制 不 能 与 低层 的 网 络 协议 例如 TCP/IP, OSI 七 层 协议 模型 等 
相 竞争 ， 也 不 应 与 它们 相 比较 。 它 们 也 不 是 CORBA、Java RMI 或 者 Unix RPC 机 制 的 替代 品 。 
然而 它们 的 作用 在 某 些 方面 与 上 面 的 例子 相 重 钱 ， 人 至 少 ACL 消息 通常 用 这 种 机 制 来 传递 。 

考虑 了 FIPA 通用 开放 主体 系统 目标 以 后 ACL 的 作用 将 会 更 加 清晰 。 其 它 机 制 如 著名 的 
CORBA 也 有 此 目标 。 但 是 ， 实 现时 在 对 象 表示 的 界面 上 强加 了 一 些 限制 。 历 史 经 验 告 诉 我 们 : 
主体 和 主体 系统 可 以 采用 多 样 的 界面 机 制 典 型 地 实现 ; 已 有 的 主体 例子 包括 使 用 TCP/TP 套 节 
£, HTTP, SMTP 和 GSM 短 消息 的 主体 。ACL 试图 在 消息 传递 服务 上 将 要 求 减 到 最 小 以 尊重 这 
种 多 样 性 。 特 别 地 ， 最 小 消息 传输 机 制 被 定义 为 : 通过 简单 比特 流传 递 的 一 种 文本 形式 ， 这 
也 是 被 广泛 采用 的 KQML 主体 通信 语言 所 采用 的 方法 。 这 种 广泛 的 方式 用 在 非常 高 性 能 系统 上 ， 
这 些 系统 的 消息 生产 率 非常 高 。FIPA 以 后 将 定义 可 替代 的 传输 机 制 方案 ， 包 括 其 它 传输 语法 ， 
它们 将 满足 非常 高 性 能 的 系统 要 求 。 

目前 ，ACL 在 主体 传输 服务 上 定义 了 如 下 的 一 组 最 小 要 求 : 

消息 服务 能 够 传递 一 个 与 比特 序列 一 样 的 消息 到 目的 地 ， 通 过 它 的 界面 消息 服务 能 发 现 
它 是 否 能 可 靠 地 处 理 高 阶 位 被 设置 的 8 位 比特 流 。 
正常 情况 下 消息 服务 是 可 靠 的 (包装 好 的 消息 能 达到 目的 地 )、 准 确 的 (接收 的 消息 在 形 
式 上 和 发 送 的 一 样 )、 有 序 的 〈 从 主体 a 发送 到 主体 b 的 消息 到 达 b 时 和 它 从 a 发 送 的 顺序 一 
样 )。 除 非特 别 说 明 ， 一 个 主体 将 被 认为 具备 这 三 个 特性 。 

如 果 消 息 传递 服务 不 能 保证 以 上 一 个 或 所 有 的 特性 ， 它 将 通过 消息 传递 服务 的 界面 以 某 
种 方式 表示 出 来 。 

主体 将 能 选择 是 否 和 暂停 和 等 待 消息 结果 或 者 在 等 待 消 息 回 复 时 继续 其 它 无 关 任务 。 这 种 
行为 的 有 效 性 是 执行 细节 ， 但 是 这 种 行为 是 否 支 持 必 须 明 确 。 
传递 消息 动作 的 参数 ， 例 如 ， 如 果 没 有 回复 时 间 超 出 
是 消息 传递 服务 界面 的 一 部 分 。 

消息 传递 服务 将 发 现 和 报告 出 错 情况 并 返回 给 发 送 主体 ， 例 如 消息 出 错 形 式 ， 不 可 传递 ， 
主体 找 不 到 等 。 依 据 错 误 情 况 ， 它 将 返回 一 个 消息 发 送 界面 的 返回 值 ， 或 者 通过 一 个 相关 出 
错 信息 的 传递 来 返回 。 

一 个 主体 将 有 一 个 名 字 使 得 消息 传递 服务 能 将 消息 传 到 正确 的 目的 地 。 消 息 传递 服务 能 
够 决定 正确 的 传输 机 制 (TCP/IP, SMTP, HTTP 等 )， 人 允许 主体 位 置 的 变化 。 





















































































































































































































































































































































































































































































































































不 是 在 消息 这 一 级 说 明 ， 但 是 它 
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14. 5. 2 FIPA ACL 消息 














FIPA 定义 单独 的 消息 类 型 ,特别 是 消息 的 格式 和 消息 类 型 的 含义 。 消息 类 型 对 本 规范 定义 
的 语法 规则 是 一 个 参考 ， 这 些 类 型 对 于 整个 消息 及 动作 和 消息 内 容 都 赋予 了 一 个 意义 。 
例如 ， 如 果 i 通知 j “Bonn 在 德国 ”那么 从 i 到 j 的 消息 内 容 是 “Bonn 在 德国 ” 而 动 
作 则 是 通知 这 一 行为 。“Bonn 在 德国 ”有 一 定 的 意义 ， 而 且 在 对 “Bonn” 和 “德国 ”这 两 个 符 
号 进行 任何 合理 解释 的 情况 下 它 将 是 真 的， 但 是 消息 的 意义 包含 了 对 主体 i 和 j 的 作用 。 决 
定 这 些 作 用 的 本 质 上 是 i 和 j 的 私人 事物 ， 但 是 由 于 这 个 有 意义 的 通信 即将 发 生 ， 所 以 对 这 
些 作用 的 合理 期 望 将 会 得 到 满足 。 
显然 , 消息 的 内 容 涉及 的 领域 知识 将 不 受 限 制 。 ACL 没有 强制 任何 表示 消息 内 容 的 形式 化 
方式 。 主 体 本 身 必须 能 够 正确 地 解释 任何 一 种 已 知 的 消息 内 容 。ACL 规范 的 以 后 版 本 将 讨论 本 
版 本 没有 讨论 本 体 论 共享 问题 。 本 规范 所 宣布 的 是 规范 独立 于 内 容 的 规则 含意 。 一 组 标准 通 
信 动 作 和 它们 的 含意 都 详细 地 定义 了 。 
值得 注意 的 是 在 动作 的 能 力 和 规范 之 间 有 一 种 平衡 。 抽 象 地 说 ， 一 组 大 量 的 能 传达 细微 
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思 差 


Ach 





类 型 将 对 主体 有 不 同 的 表示 和 执行 限 
的 通信 情况 ，@ 不 要 使 主体 


Mz. 
E 
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别 的 非常 详细 























的 动作 类 型 和 一 组 少量 的 更 通用 的 动作 类 型 效果 可 能 一 样 ， 但 这 组 动作 
类 型 的 目标 可 表示 为 : CO TRUE ht KE Hl 


Hl], IRATE 
的 设计 负担 过 于 繁重 ，@ 在 为 主体 提供 通信 动作 使 用 选择 服务 时 ， 







































































， 定 义 ACL 语言 的 目标 是 : 完整 、 简 单 和 简明 。 


减少 几 余 和 模糊 。 简 而 言 之 














Hoa 















































个 通信 动作 。 为 了 优雅 和 一 致 ， 在 对 话 时 处 理 








通信 





ACL 中 消息 的 基本 观点 是 消息 表示 为 
动作 应 和 处 理 其 它 动 作 相 一 致 ， 一 个 已 入 能 完 
消息 在 本 文中 根据 上 下 文 表示 两 个 不 同 的 含意 : 消息 可 以 是 通信 动作 上 
递 主体 言论 到 目的 地 的 消息 传输 服务 使 用 的 计算 结构 。 

ACL 规范 提出 的 通信 语言 基于 一 种 精确 





















































1 通信 动作 是 一 个 主体 能 完成 




























































































的 动作 中 的 一 个 。 术 语 
的 同义词 ， 或 者 是 指 传 


的 形式 语义 学 ， 它 给 出 了 通信 动作 的 一 种 清晰 含 








分 。 














意 。 实 际 上 ， 这 种 形式 化 基础 还 补充 了 用 于 易于 高 效 交 互通 信 实 际 执行 的 实用 扩充 间 

此 基础 上 ， 以 下 定义 的 消息 参数 用 描述 形式 加 以 定义 。 同 样 ， 主 体 可 能 用 到 的 规范 ， 勾 

交换 协议 ， 都 只 给 出 了 描述 形式 的 操作 语义 。 
l1. 主体 的 要 求 
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这 里 介绍 一 组 所 有 主体 都 能 使 用 的 预定 义 的 消息 类 型 和 协议 。 但 是 ， 对 了 
需 执 行 所 有 消息 。 以 下 列 出 了 FIPA ACL 兼容 主体 的 最 小 要 求 ; 

Q) 主体 在 | 
收 和 适当 处 理 来 至 其 它 主 体 的 not-understood 消息 。 

(2) “主体 可 以 选择 执行 所 有 的 预定 义 的 消息 类 型 和 协议 或 其 
行 必须 与 提供 的 动作 语义 定义 相 一 致 。 






























































中 任意 一 子 集 。 










































































[消息 


F 所 有 主体 并 不 


改 到 不 认识 或 者 不 能 处 理 的 消息 内 容 时 能 发 出 not-understood. 主体 必需 能 接 


这 些 消息 的 执 


(3) ”使 用 本 文中 名 字 被 定义 的 通信 动作 的 主体 必须 在 执行 时 与 它们 的 定义 相符 。 

(4) ”主体 可 以 使 用 本 文 没有 定义 的 其 它 名 字 的 通信 动作 ， 有 责任 保证 接收 主体 理解 动作 的 
含意 。 但 主体 不 应 定义 与 已 定义 好 的 标准 动作 含意 相 匹配 的 新 动作 。 

(5) “主体 必须 能 正确 地 将 语法 形式 良好 的 消息 生成 与 发 送 的 消息 相 一 致 的 传输 形式 。 同 
样 ， 主 体 也 必须 能 将 传输 语法 形式 良好 的 字符 序列 翻译 成 相关 消息 。 


























2. 消息 结构 
图 14. 18 给 出 了 ACL 消息 的 主要 组 成 元 素 。 





ACL JE 


























MEAE endow NURS 消息 内 容 表达 式 
:receiver hpl-auction-serve 
: content 
o ah {eB TBI 
Apa f ERU (price (bid good02) 150) TOROS 
:in-reply-to round-4 参数 表达 式 
:reply-withpid04 
: language s1 
EAB :Ontology hpl-auction 
图 14.18 ”消息 结构 
在 传输 形式 上 ， 消 息 表 示 为 s- 表 示 形 式 。 消 息 的 第 一 个 元 素 是 确定 通信 的 通信 动作 和 定 







































































义 消 息 的 主要 含意 。 接 下 来 是 一 列 








冒号 开头 参数 关键 字 引 导 的 消息 参数 ， 冒 号 与 参数 关键 



































| 某 种 形式 编码 的 消息 内 容 ， 其 它 参 数 

















] 于 帮助 消息 传 




















字 之 间 没 有 空格 。 其 中 一 个 参数 包含 
输 服务 正确 传递 消息 (如 sender , receiver 

















language, ontology)， 或 者 帮助 接收 者 能 更 合作 地 





传递 形式 是 比特 流 的 序列 化 ， 由 消息 传输 服务 传递 。 接 收 主体 负 








站 
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已 





消息 元 素 并 正确 处 理 




















)， 或 帮助 接收 者 解释 消息 含意 (如 





回复 (如 reply-with, reply-by)。 
责 对 比特 流 解 码 ， 解 析 


JA 


消息 的 通信 动作 类 型 与 KQML 中 的 performative 相对 应 。 
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3， 消 息 参 数 





如 前 所 述 ， 消 息 包括 





















































参数 中 只 有 一 个 :receiver 参数 是 必须 要 的 ， 这样 消息 传输 服务 才能 

接收 者 的 消息 是 没 用 的 消息 。 但 是 ， 有 效 通信 确切 地 需要 哪些 其 

不 同 。 

预定 义 的 消息 参数 全 集 如 下 所 示 ; 
消息 参数 含意 
: sender 消息 发 送 者 
:receiver 消息 接收 者 
:Content 消息 内 容 
:reply-with 回答 原来 消息 
:in-reply-to 消息 回答 的 原来 动作 
:envelope 消息 服务 内 容 
: language 动作 内 容 的 编码 方案 
:Ontology 内 容 表达 式 符 号 的 含意 
:reply-by 消息 发 送 时 间 和 日 期 
:Drotocol 使 用 协议 
:originator 代理 主体 请 求 消息 
:reply-to 表示 向 哪个 主体 回答 
:protocol “(” <protocol 使 用 协议 髓 套 
name>+” )” ) 
:conversation-id 进行 的 通信 动作 序列 ， 
Me? Sides?) 表 中 是 子 协议 
:conversation-id 进行 的 通信 动作 序列 
4， 消 息 内 容 





消息 内 容 表 示 通 信 动 作 申 请 什么 。 


























素 。 内 容 





(1) 

















一 种 内 容 容 语言 E 言 必 须 能 示 命 题 






































性 ,ff 








在 这 里 并 不 需要 其 











的 动作 等 。 





命题 ; 表示 

















Mj. MW: 





一 种 主 





种 语言 中 的 某 些 句子 是 真 或 假 。 
能 抽象 或 者 具体 ) 的 结构 。 对 象 并 不 一 定 指 面向 对 象 语言 如 C++ 和 Java 中 
体 将 解释 为 














一 组 一 个 或 多 个 参数 。 这 些 参数 在 消息 


FP 可 按 任 何 顺序 列 出 。 所 有 






































正确 传递 消息 。 
它 参 数 还 是 根据 情况 不 同 而 











显然 没有 













































































如 果 通 信 动 作 认 为 是 一 个 句子 ， 内 容 是 句子 的 语法 元 





般 用 一 种 语言 编码 ， 这 种 语言 在 language 参数 中 说 明 。 对 内 容 语言 的 要 求 是 它 应 
具备 以 下 特性 : 

















HB pees 
r A 














某 些 主体 完成 行为 














最 一 般 的 情况 是 主体 共同 协商 一 种 内 容 语言 。 




















(2) 


第 一 步 开 始 对 话 的 困难 。 
目录 服务 和 执行 其 

(1) FIPA 规范 
命题 ， 对 象 和 动作 。 





























这 样 必须 有 一 个 双方 都 事先 知道 的 





对 象 : 代表 一 种 讨论 








， 对 象 和 动作 。 虽然 任何 已 有 的 语言 可 以 更 多 其 它 特 
通知 的 命题 ， 请 求 





的 结构 。 


领域 中 可 确认 东西 
8 现 的 专业 编程 结 

















Cn] 














但 是 ， 主 体 必须 克服 为 了 商定 内 容 语 言 而 






























































的 主 











Ed 











主体 需要 通过 使 月 
和 本 体 论 在 fipa-age 





5. ”消息 内 容 的 表示 


=e 


384 


体 管理 内 容 语 





它 关 键 主体 管理 功能 ， 本 规范 包括 以 下 内 容 语言 定义 : 
言 是 s- 表 达 式 概念 用 于 




















表达 式 的 术语 在 本 规范 的 第 一 部 分 已 定义 。 








nt-management 预 留 


主体 管理 内 容 语 言 和 本 体 论 的 消息 执行 标准 





字段 相应 











息 的 内 容 是 指 i 
人 码 。FIPA 规范 没有 强制 使 
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信 动 作 中 的 领域 表达 式 。 
一 种 特定 有 标准 化 基 而 


























参数 中 表示 。 








ny El 
已 征 


的 内 容 编码 语言 。 


00000 





LABS o MAN DEM 


于 表示 属于 主体 生命 周期 管理 的 








主体 管理 能 力 。 语 言 

















在 消息 中 以 :content 参数 值 进行 编 


























为 了 提供 简单 语言 编码 服务 ，ACL 语法 包括 的 s- 表 达 式 形式 允许 任意 长 度 和 复杂 度 的 s- 
表达 式 结构 。 因 此 一 种 被 定义 为 通用 s- 表 达 式 语法 的 子 语法 的 语言 可 不 需 修 改 地 接受 为 合法 
的 ACL 消息 。 然而 ， 主 体 通常 需要 在 消息 体 中 嵌入 一 个 用 一 种 符号 编码 的 表达 式 ， 而 不 是 
用 于 消息 本 身 的 简单 s- 表 达 式 形式 。ACL 语法 提供 两 种 机 制 ， 它 们 都 要 避免 需要 ACL 解释 器 
解释 任何 语言 的 表达 式 问题 : 

(D 用 双 引 号 包括 表达 式 ， 这 样 使 它 成 为 用 ACL 语法 的 字符 串 ， 用 有 反 斜 线 符号 区 别 双 引 
号 体内 的 双 引 号 。 注 意 内 容 表 达 式 中 的 反 斜 线 字符 也 需要 区 别 开 。 例 : 


(inform :content “owner (agentl ,\” Ian )” 























































































































:language Prolog 
e) 
(2) 在 表达 式 前 加 适当 长 的 编码 字符 串 ， 这 样 确保 表达 式 被 处 理 为 与 它 结构 无 关 的 词汇 
符号 。 例 : 
(inform :content #22 “owner (agentl, “Ian 
































” ) » 
:language Prolog 
se) 
因此 ，ACL ARRAS AE o — P RANE BRA TB RTL AF 
解释 ， 表 示 内 容 表 达 式 的 符号 通过 : language 参数 根据 编码 方案 
6. 通信 动作 的 目录 














号 ,一 个 字符 串 。 一旦 消息 被 
能 被 解释 。 


















































表 14. 1 通信 动作 的 目录 


Communicative act Informati | Requestin | Negotiati | Action Error 
on passing | g on performin | handling 
informati g 
on 


m T 


Inform-if (macro | ¥ 
act) 
Inform-ref (macro | V 
act) 
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Communicative act Informati | Requestin Action Error 


on passing | g performin | handling 


informati 











表 14.1 给 出 了 通信 动作 的 目录 。 

















14. 5.3 交互 协议 


























目前 主体 之 间 的 会 话 常 常 形 成 典型 模式 。 在 这 种 情况 下 某 些 消息 序列 是 可 预知 的 ， 而 且 
在 会 话 的 任意 一 点 其 它 消息 也 可 预知 。 这 些 消息 交换 的 典型 模式 称 为 协议 。 主 体系 统 的 设计 
者 能 选择 使 主体 充分 地 理解 消息 的 含意 、 目 标 、 信 念 和 主体 具备 的 其 它 心智 状态 ， 主 体 规划 
过 程 可 使 这 种 协议 本 能 地 从 主体 的 选择 产生 。 这 样 使 主体 执行 时 的 能 力 和 复杂 性 会 有 一 个 沉 
重负 担 ， 虽 然 在 普 换 的 主体 社会 中 这 不 是 一 个 通用 的 选择 。 一 种 很 实际 的 替代 观点 是 预先 规 
范 这 些 协议 ， 这 样 一 个 简单 主体 执行 这 种 协议 ， 就 能 与 其 它 主体 进行 有 意义 的 会 话 。 
点 注意 ， 主 体 可 能 与 不 同 的 主体 同时 地 进行 多 方 对 话 。Conversation 项 用 于 指示 这 种 对 
话 的 任意 特殊 实例 。 这 样 主体 可 以 同时 与 多 个 主体 采用 不 同 协议 进行 多 方 对 话 。 此 部 分 所 指 
在 某 种 已 知 协议 控制 下 接收 消息 的 说 法 只 是 指 特殊 的 会 话 。 

1， 协 议 操作 约定 

两 个 主体 在 使 用 某 个 协议 之 前 应 先 协商 使 用 哪 种 协议 。 因 此 采用 以 下 规定 : 在 消息 中 
protocol 参数 写 入 协议 名 称 ， 相 当 于 inform 主体 i 试图 采用 此 协议 。 一 旦 协议 结束 ， 可 能 
协议 达到 最 后 阶段 或 者 协议 名 称 就 从 消息 protocol 参数 中 去 掉 。 

如 果 主 体 不 能 或 不 愿意 文 持 接收 到 消息 中 的 协议 ， 它 可 以 返回 拒绝 消息 : 
ffl: 


(request :sender i 















































































































































































































































i— 











ii 


















































































































































:receiver j 

:content some-act 

:protocol fipa-request 
) 
2. 交互 协议 的 规范 
在 70 年代， 结构 化 编程 是 主要 范 型 。 为 了 方便 和 规范 从 意向 开始 到 最 后 产品 维护 的 全 
开发 过 程 ， 软 件 工程 技术 发 展 起 来 。 八 十 年 代 是 上 共有 封 效 和 继承 特性 数据 的 面向 对 象 的 十 锯 
现在 统一 建 模 语言 (UM) 是 面向 对 象 工程 的 现行 标准 。 
面向 主体 软件 和 软件 开发 是 今天 的 范 型 。 与 对 象 相 比 较 ， 主 体 由 自身 产生 的 原因 执行 动 
作 而 具有 主动 性 。 主 体 的 主动 性 基于 它们 内 部 的 状态 ， 这 些 状 态 包括 目标 和 隐 含 的 已 定义 任 
务 执行 的 条 件 。 对 象 需要 从 外 部 控制 执行 方法 ， 而 主体 知道 条 件 和 行动 的 意图 ， 因 而 能 满足 
对 它们 的 需求 。 而 且 ， 主 体 不 只 是 一 个 单独 行动 而 是 和 其 它 主体 一 起 ， 其 中 一 个 原因 是 一 个 
主体 所 有 的 资源 不 足 时 ， 可 以 得 到 其 它 主体 资源 的 文 持 。 还 有 ， 主体 可 能 不 具备 完成 菜 一 复 
杂 任 务 的 所 有 能 力 ， 可 以 与 其 它 主体 合作 ， 协 同 工 作 ， 以 完成 规定 的 任务 。 尽 管 主体 代表 各 
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自用 户 和 分 别 行动 ， 但 在 多 主体 系统 中 每 个 成 员 相 互 协作 ， 形 成 一 个 类 似 社 会 集体 。 
现在 研究 和 开发 的 主要 焦点 是 建立 各 种 多 主体 系统 的 开发 平台 。 但 是 建立 基于 主体 软件 
的 模型 还 缺乏 必要 的 规范 标准 。 为 了 将 基于 主体 编程 应 用 于 生产 的 项 目 中 ， 一 个 支持 整个 软 
件 工程 过 程 的 规范 技术 是 必要 的 。 这 个 过 程 开 始 于 系统 需求 描述 的 使 用 方案 ， 描 述 概念 的 设 
计 规 范 和 系统 设计 ， 最 后 结束 于 软件 产品 完成 的 执行 规范 。 所 以 ，FIPA 提出 一 份 关于 交互 协 
议 规范 作为 标准 UML 补充 的 建议 。 下 一 步 在 FIPA 2000 报告 中 将 提供 一 个 技术 规范 ， 它 支持 
整个 面向 主体 软件 工程 过 程 ， 它 将 成 为 FIPA 规范 中 极 有 参考 价值 的 一 部 分 。 


在 定义 交互 协议 和 以 此 目的 形成 一 份 技术 规范 之 前 ， 对 于 交互 协议 必须 建立 一 个 共识 。 

交互 协议 ， 缩 写 为 IP， 定 义 包 括 两 部 分 : 

(D 通信 模式 定义 ， 包 括 
定义 一 种 允许 传递 消息 和 应 答 的 策略 ， 其 中 
参与 者 具有 特别 角色 ， 
消息 内 容 有 一 些 语 义 限 制 ， 
对 于 参与 者 有 固定 的 规则 。 

(2) 在 CA 通信 动作 ) 语义 学 中 蝶 入 这 种 模式 ， 即 模式 内 消息 内 容 与 CA 通信 动作 ) 

语义 学 相 一 致 。 

以 下 两 概念 必须 区 别 : 

(1) 基本 交互 协议 IP 和 它们 的 实例 ; 

(2) 领域 相关 交互 协议 IP。 

在 FIPA 框架 内 规范 了 基本 交互 协议 TP, 应 用 程序 的 开发 人 员 可 以 在 他 们 自己 的 系统 规范 

中 使 用 它们 。 在 交互 协议 IP 规范 中 满足 任何 其 它 规范 技术 要 求 的 技术 是 必要 的 
CD 形式 化 的 、 直 觉 的 语义 学 ; 

(2) 允许 精确 定义 ; 

(3) 软件 工程 过 程 中 可 用 ; 

(4) 对 于 不 熟悉 面向 主体 编程 的 人 员 可 以 使 用 图 形 符号 进行 讨论 。 

交互 协议 的 规范 技术 必须 支持 : 
CD 主体 的 角色 ; 

(2) 消息 发 送 可 以 具体 定义 : 
消息 的 基数 和 多 重 接收 处 理 ; 
消息 发 送 的 约束 ， 特 别 是 时 间 约 束 ; 
消息 的 递归 和 重复 。 

CD 子 协议 的 定义 ， 即 通信 模式 的 体系 结构 ; 

(4) 子 协议 的 递归 和 循环 ; 

(5) CA 的 意图 的 考虑 ， 即 对 策 中 的 固定 规则 ; 

(6) 消息 内 容 的 定义 和 限制 ; 

(7) 定义 并 行 性 和 选择 ; 

(8) 描述 协议 中 断 ， 以 便 执行 其 它 主体 的 另 一 种 协议 。 
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14. 5.4 ACL 语义 学 的 形式 化 基础 


1. 形式 化 模型 
这 里 给 出 消息 语言 语义 学 基础 的 通信 动作 模型 。 这 一 模型 只 是 为 了 给 出 通信 动作 和 协议 
的 已 列 出 含意 的 基础 。 它 不 是 一 个 建议 的 体系 结构 或 是 一 个 主体 设计 的 结构 模型 。 也 不 是 一 


Asi 
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个 单独 运作 和 只 与 人 或 与 其 它 软件 界面 交互 的 主体 特例 。 主 体 必 须 相互 通信 来 实现 它们 担负 
的 任务 。 
图 14. 19 给 出 一 个 基本 事例 : 

































































转换 到 传输 格式 













































14.19 ”两 个 主体 间 消 息 传送 





























Bux. EA i 有 以 下 心智 状态 : 目标 或 者 目的 G6， 意 图 I。 为 了 满足 6， 主体 采用 一 个 具 
体 意 图 I。 G 和 了 I 可 以 同样 地 用 清楚 的 语言 编码 成 一 个 BDI 主体 的 心智 结构 ， 或 者 含蓄 地 在 
调用 堆栈 里 ， 编 程 为 一 个 简单 的 JAVA 或 数据 库 主 体 。 
Bux i 不 能 由 自己 实现 意图 ， 问 题 就 成 为 哪 一 种 消息 或 者 哪 一 组 消息 可 以 发 送 给 其 它 主 
体 帮助 或 导致 意图 I 得 到 满足 。 如 果 主 体 工 的 行为 是 理性 的 ， 它 将 不 会 向 一 个 不 能 满足 意图 
的 主体 发 送 消息 去 完成 目标 。 例如， 如果 Harry 想 要 野餐 ， 就 会 产生 一 个 目标 寻找 哪儿 合 
适 ， 然 后 产生 一 个 意图 询问 天 气 ， 他 或 她 将 不 会 糊涂 地 问 Sally“ 今 天 你 买 Acme 的 股票 没 
^? ”。 从 Harry E, WE Sally 说 什么 ， 都 不 会 对 判断 今天 是 否 下 雨 有 作用 。 
接着 这 个 例子 ， 如 果 Harry 正常 行为 ， 将 问 Sally:“ 今 天 是 否 有 雨 ? ”他 所 做 的 是 希望 满足 
他 的 意图 ， 达 到 他 的 目标 (假设 Harry 认为 Sally 知道 答案 。) Harry 这 样 推 理 ， 问 Sally 的 
结果 是 Sally 能 告诉 他 ， 这 样 做 一 个 请 求 完 成 意图 。 现 在 已 经 提出 一 个 问题 ，Harry 能 真正 认 
为 他 迟早 能 知道 是 否 有 雨 ? Harry 可 以 认为 Sally 知道 他 不 知道 的 事 , 并 且 她 知道 他 正在 询问 
她 。 但 是 ,仅仅 在 提问 的 基础 上 ，Harry 不 能 认为 Sally 能 告诉 他 天 气 情况 ,因为 她 是 独立 的 ， 
可 能 正 忙 。 
总 之 ， 一 个 主体 通过 与 其 它 主 体 通 信 清 楚 地 或 者 含蓄 地 (通过 软件 的 结构 〉 规 划 ， 用 以 
最 后 达到 目标 ， 即 发 送 消息 给 其 它 主体 和 从 其 它 主体 接收 消息 。 主 体 将 根据 对 于 目标 的 动作 
期 望 值 或 者 推理 效果 的 适当 依据 选择 动作 。 但 是 推理 效果 在 发 送 消息 以 后 并 不 能 保证 一 定 产 
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2. 语义 语言 SL 

语义 语言 SL 是 定义 FIPA ACL 语义 学 的 形式 语言 。 在 SL 中 ， 逻 辑 命题 表示 成 一 个 心智 
状态 和 动作 的 逻辑 ， 使 用 具有 恒等式 的 一 阶 模 态 语言 。 所 用 形式 化 的 元 素 表 示 如 下 : 

* p, p1… 表 示 命 题 的 闭合 公式 ， 

。V 和 2 公式 模式 ， 代 表 任 意 闭合 命题 

“和 7 表示 主体 的 模式 变量 ， 

e |= 6 表示 OFM. 
主体 的 心智 模型 是 基于 三 种 原 语 状态 : 信念 ， 不 确定 和 选择 (或 者 某 种 程度 的 目标 )。 它 
们 分 别 用 算 子 B, U 和 C 表示 。 算 子 可 这 样 读 : 

。Bip“ 了 相信 P” 
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e. Uip “ 了 认为 P 不 确定 ， 但 认为 p 多 过 p” 


- Cip “7 HIER P 现在 正确 
ALT B 的 逻辑 模型 

















~ 
x 





























关于 复杂 规划 ， 事 
* ài ae 表示 a hE a 的 序列 


e a| az IEE HE 





k 有 固定 领域 原 到 
































动作 表达 式 可 以 
算 子 Feasible ,Do 






























































。Feasible(a, p) 表 示 a 可 能 发 生 ， 并 且 如 果 发 生 ， 
。Done (a, p) 表示 
* Agent (7, a) 表示 执行 主体 工 将 执行 动作 a 


‘Single (a) 表示 a 动作 表达 式 而 不 是 一 个 序列 。 4 
日 合 动作 alb Jj Single 当 且 仪 当 a 和 pb 都 为 Single。 





b AF Single. 4 














a 





刚 发 生 ， 之 前 p 刚 为 真 




















持久 目标 的 概念 定义 来 源 于 信念 、 选 择 和 事件 。 主 体 7 有 持久 晶 
目标 不 可 达到 。 意 图 定义 为 促使 主体 动作 的 一 个 持 
br p 和 了 工 有 产生 p 的 意图 。I 的 定义 中 意 岁 必须 


























嵌入 心智 状态 或 动作 算 子 是 没有 限 氏 
认为 上 有 这 样 的 意图 : 动作 a 能 在 i 必须 相信 op 时 发 生 。 











日 一 直 追 求 目 标 p 直到 目 
A Hs. 符号 PGip 和 Lp 分 别 表示 i AFA H 
生成 一 个 规划 过 程 。 

















标 实现 或 者 认为 








的 选择 ， ai 或 者 ar KE, 但 不 是 都 发 生 。 
I a 家 不 。. 


ne 和 Agent 用 于 动作 推理 ， 说 明 如 下 : 


RAY KD45 可 能 世界 语义 学 Kripke 结构 。 

为 了 动作 推理 ， 论 域 包括 单个 对 象 、 主 体 和 事件 序列 。 一 个 序列 可 能 只 有 一 个 事件 。 
件 也 可 能 为 空 。 语 言 所 涉及 项 包括 全 部 事件 序列 。 
E SE) 可 以 组 合 为 动作 表达 式 : 





$ 











p 将 随后 为 真 




















F 何 单个 动作 都 是 Single. 组 合 动作 a; 

















标 p， 当 7 有 目标 p， 并 
























































提出 的 逻辑 的 








以 下 公式 是 有 效 的 。 


s D<=>B; 


9 











其 中 8 是 | 














14. 6. 1 引言 





统 [128] 。 随 着 i 
是 保证 系统 能 在 一 起 
领域 (如 分 布 式 训 








在 计算 机 科学 领域 ， 最 具有 挑战 怕 
十 算 机 系统 越 来 越 复 杂 ， 将 智能 主体 集成 起 来 




















调 与 协作 是 多 主体 研究 的 核心 问题 之 一 ， 





个 基本 特性 是 模型 化 的 主体 与 它 自己 的 心智 状 











表示 主体 7 的 心智 状态 的 模 态 算 子 管理 。 











14.6 协调 和 协作 
































HA. Pt: UiBjIjDone (a, Bip) 表示 主体 7 相信 主体 J 


态 是 完全 相符 的 。 正 党 时， 





























| 算 、 面 向 对 象 的 系统 、 专 家 系统 等 ) 区 别 














的 目标 之 一 就 是 如 何 建立 能 够 在 一 起 工作 的 计算 机 系 
则 更 具 挑 战 性 。 而 主体 间 的 协作 














< 同 工 作 的 关键 。 另 外 ， 主 体 间 的 协作 也 是 多 主体 系统 与 其 它 相关 研究 























愿望 、 意 图 、 规 划 、 行 动 协调 ， 以 至 达到 协作 是 多 主体 的 主要 目标 。 
协调 是 指 一 组 智能 主体 完成 一 些 集 体 活 动 时 相互 作 








这 个 环境 中 存在 多 个 主体 并 有 














是 由 于 其 它 主体 的 意图 



































存在 。 协 作 是 非 对 抗 的 主体 之 间 





以 人 类 社会 为 范例 进行 
冲突 和 无 冲突 之 间 。 局 
目标、 资源 的 使 有 















































研究 的 





。 在 人 类 社会 中 ， 人 与 人 


来 的 关键 性 概念 之 一 [50] 。 协 
因为 以 自主 的 智能 主体 为 中 心 ， 使 多 主体 的 知识 、 








用 的 性 质 。 协 调 是 对 环境 的 适应 。 在 
都 在 执行 某 个 动作 。 协 调 一 般 是 改变 主体 的 意图 ， 协 调 的 原因 
保持 行为 协调 的 一 个 特例 。 多 主体 是 
的 交互 无 处 不 在 。 人 类 交互 一 般 在 纯 














样 ， 在 





进行 协调 














放 、 动 态 的 多 主体 环境 
。 例如， 在 出 现 资源 冲突 





下 ， 有 具有 不 同 目标 的 多 个 主体 必须 对 
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时 ， 若 没有 条 


好 的 协调 ， 就 有 可 能 
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需要 协作 。 
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在 多 主体 系统 





遵循 某 些 神 

















E 
某 些 








协作 方式 对 主体 的 设计 和 实 














主体 系统 能 解决 更 多 的 实际 问题 ， 
目标 ， 因 而 其 设计 和 实现 可 以 独立 于 其 它 主 体 。 但 在 多 主体 系统 中 ， 主 体 不 是 7 
:会 规则 的 主体 所 构成 的 多 主体 系统 中 [Shoham 1995], 3 
预定 的 社会 规范 ， 而 不 能 为 所 欲 为 。 主 体 间 的 这 种 相互 依赖 关系 使 得 主体 间 的 交互 以 及 
有 相当 大 的 制约 性 ， 基 于 不 同 的 交互 及 协作 机 制 ， 多 主体 系 


PF， 协作 不 仅 能 提高 单个 主体 以 及 1 
性 能 ， 增 强 主 体 及 主体 系统 解决 问题 的 能 力 ， 还 能 使 系统 








拓宽 应 用 。 























多 个 主体 所 形成 的 系统 

















现 死 锁 。 而 在 另 一 种 情况 下 ， 即 单个 主体 无 法 独立 完成 目标 ， 需 要 其 它 主体 的 帮助 ， 这 时 就 


的 整体 行为 的 

















有 更 好 的 灵活 性 。 通 过 协作 使 多 























尽管 对 单个 主体 来 说 ， 它 只 关注 




















现 具 


LAN 






































自身 的 需求 和 
KEFEN 
FE 体 的 行为 必须 满 


LI 











Ke 

















统 中 的 主体 的 实现 方式 将 各 不 相同 。 因 此 可 以 说 ， 研 究 主体 间 的 协作 是 研究 和 开发 基于 主体 





的 智能 系 





[Leeser 1991]. 、 联 合意 
[Grosz 1996] 等 。 
定 的 协作 环境 下 ， 而 一 旦 环境 发 生变 化 ， 如 主 
的 情形 不 一 致 时 ， 基 于 该 理 














论 所 适 





统 的 必然 要 求 。 
在 现 阶段 ， 针 对 主体 协作 的 研究 大 体 j 
Theory, Aish eH 
而 另 一 类 则 从 主体 上 














AE 
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) 研究 多 实体 
的 目标 、 意 图 


~ HR 
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框架 (Joint 

















行为 的 方法 和 技术 




















Intention 


























但 前 


类 方法 的 适 ) 
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范围 远 不 如 后 一 类 广 ， 所 运用 的 各 种 理 i 
体 的 个 数 、 类 型 、 





-可 分 为 两 类 ， 一 类 将 其 它 领 域 ( 如 博 


ie Rig 


及 主体 间 的 交互 关系 与 该 理 





2 





ib Game 


] 于 主体 协作 的 研究 [Kraus 1997]; 
等 心智 态度 出 发 来 研究 多 主体 间 的 协作 ， 如 FA/C 模型 


Framework) [ Levesque 1990] 、 共 享 规划 

















] 于 特 

















的 协作 机 制 就 失去 了 其 存在 的 优势 。T 


1 后 一 类 方法 则 











较 偏 重 于 问题 的 规划 与 求解 ， 并 且 它 们 所 假定 的 协作 过 程 差 异 显 著 。 有 的 是 先 找 协作 伙伴 再 








规划 求解 ， 有 的 先 对 问题 进行 规划 然后 由 主体 按照 该 规划 采取 协作 性 的 行动 ， 而 
] Global Planning，PGP) 来 调整 自 
的 协作 显得 较 松 散 ， 缺 乏 必 要 的 意外 处 理 机 
还 必须 存在 共享 的 协作 规划 ; 而 前 一 种 方式 的 协作 的 不 确定 性 较 大 ， 
协作 规划 会 受到 协作 团体 的 影响 和 制约 。 

在 多 主体 系统 中 ， 主 体 是 自主 的 ， 多 个 主体 的 知识 、 愿 望 、 意 图 
XE A dE MIR UH 


AH 





TH. 




















主 行动 的 过 程 中 
为 以 达到 协作 的 
制 及 手段 ， 并 且 在 主体 间 





CHAAR 


PL 
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Hie. 
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进行 部 分 全 局 规划 (Par 
目标 [Lesser 1991] 。 后 两 种 方式 








tia 





























AL 








MZ, 
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政治 





社 





会 学 、 社 会 心理 


学 、 人 类 





法 律 学 、 以 及 经 





























科 领 域 都 对 协调 进行 了 研究 ， 许 多 
调 是 指 多 个 主体 为 了 以 一 致 、 和 谐 的 方式 工作 而 进行 交互 的 过 程 。 
之 间 的 死 锁 和 活 锁 。 死 锁 指 多 个 主体 无 法 进行 各 自 的 下 一 步 动作 : 
作 却 无 任何 进展 的 状态 。 多 主体 之 间 的 协调 已 经 有 和 


d^^ 


























究 成 果 已 经 应 
































Xr 
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Tri 


多 方法 ， 大 致 归纳 如 下 : 















































组 织 结构 化 (Organizational Structuring) 
合同 (Contracting) 
多 主体 规划 (Multi-agent Planning) 
协商 (Negotiation) 





从 社会 心理 学 的 角度 看 ， 多 主体 之 间 的 协作 情 
“协作 型 同时 将 自己 的 利益 放 在 第 二 位 。 


私 型 ， 同 时 将 协作 放 在 第 二 位 。 





-É 























. 完全 自私 型 ， 不 考虑 任何 协作 。 
. 完全 协作 型 ， 不 考虑 自身 利益 。 


* 协作 与 自 











私 相 混合 型 。 





形 大 致 可 分 为 : 











有 的 则 在 主 


己 的 行 











和 行为 等 往往 各 不 相同 ， 
< 同 工 作 进行 协调 ， 是 多 主体 系统 的 问题 求解 能 力 和 效率 得 以 保障 的 必要 条 件 。 
济 学 等 在 内 的 多 个 
到 多 主体 系统 中 。 多 主体 系统 中 的 协 
则 是 希望 避免 主体 
锁 是 指 多 个 主体 不 断 工 








主体 的 交互 有 两 种 关系 : 负 关 系 和 正 关系 。 负 关系 导致 冲突 ， 对 于 冲突 的 消 解构 成 协调 。 
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究 主要 在 无 上 











解构 成 协调 。 正 关系 表示 主体 的 规划 有 重 倒 部分， 或 某 个 主体 具有 其 它 主体 不 具备 的 能 力 ， 
E20 HR QUERER. 7) 4 RA TAI ROSE EMT E MAE FIR 





标 冲 突 的 情况 











bbt. com HOOO000 
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下 互相 帮助 ， 实现 目 标 。 这 利 








在 其 


18: 








了 “理性 主体 (rational agent)” Az AWA 
协作 问题 
行 了 形式 化 看 
商 协 调 各 
IRE” 


MacIntosh 运 





下 的 多 步 协 商 。Hewitt 提出 
型 提出 挑战 。 现 实 世 界 是 开放 的 、 动 态 的 ， 协 调 与 协作 也 应 是 开放 的 、 动 态 的 。 计 算 
4 备 很 强 的 推理 能 力 ， 而 可 以 通过 不 断 的 交互 ， 
进化 能 力 ， 类 似 于 生态 系统 。 在 


认为 


BOE 
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Shohan 
体 也 会 相信 
体会 有 什么 检 


























的 形式 化 到 
Tf 究 。 这 些 研 究 都 是 在 主体 目标 矛盾 的 前 提 下 ， 如 何 
自行 为 ， 或 通过 协作 实现 共同 目标 。 有 的 研究 考虑 时 间 偏好 ， 有 的 面向 开放 环境 。 
诸 塞 大 学 在 强化 FA/C 与 PGP 方法 的 基础 上 , 采用 元 级 通信 的 方法 , 协调 主体 的 计算 。 



































主体 在 


























周 与 环境 以 及 各 
BDI 模型 中 则 强调 交互 作用 中 
等 提出 为 人 工 主 
。 这 些 法 规 一 方 





FP 研究 适 


j 局 发 式 方法 将 协作 引入 机 器 定 到 
题 [Sycara 1996] 。 该 方法 使 用 启发 式 与 约束 满足 技术 解决 分 布 式 搜索 问题 ， 使 | 
复 不 一 致 的 搜索 决策 。 其 缺点 是 


























We 








于 分 布 式 问题 求解 。20 世纪 80 年 代 中 
































EF: 论 文中 对 于 主体 在 目标 有 冲突 情况 下 的 交互 进行 了 深入 的 研究 ， 运 
态 模 型 [Rosenschein 
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HH, Rosenschein 
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要 一 个 仲裁 器 解决 冲突 。 


Thi 














放 分 布 式 人 工 智和 





























放 的 、 动 态 的 环境 中 不 一 定 
自 之 间 的 关系 ， 使 整个 系统 体现 一 利 
主体 信念 、 愿 望 和 意 医 
体 社 会 规定 一 套 法 规 ， 要 求 每 个 主体 必须 遵守 ， 并 且 




















面 会 限 


的 行为 方式 ， 从 而 保证 本 3 




















系统 的 思想 ， 
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的 理性 平衡 。 




















ESE AT EAC 
EAT AL 





FH]. Sycara 以 劳资 谈判 为 


Conry 研究 了 多 
对 Rosenschein 的 静态 交互 模 





puse. E 
1986]， 成 为 多 主体 协调 与 
E 论 基础 。 此 后 ， 许 多 学 者 运用 对 策 论 对 于 多 主体 的 协商 、 规 划 、 协 调 进 














通过 建立 对 方 模型 或 通过 协 








背景 研究 协商 问 

















异步 回 漳 恢 











目标 、 























的 行 








动 ， 另 一 方 四 
的 可 实现 性 。Decker 








Ave $A u 


也 可 以 确 


多 资源 条 件 














生态 学 





相信 和 别 的 主 
保 其 他 主 



































^ uy 





种 用 于 分 布 式 





传感器 网 络 的 动态 协调 算法 [Decker 1995]， 各 主体 按照 一 个 统一 的 标准 动态 修改 本 主体 负责 


的 传感器 区 域 ， 可 以 自动 达成 各 区 | 


实现 负载 均衡 ， 性 能 优 于 前 
情形 。 

在 多 主体 规划 系统 9 
Vil. WEZ 
值 。 自 


ra 
限制 点 检测 





要 用 


为 控制 器 的 作用 ， 规 定 各 主体 在 协作 

构 设 计 提 供 功能 指导 ， 为 监控 问题 求解 提供 标 六 
现 了 这 种 责任 方法 。 

14. 6. 2 合同 网 


1980] 。 后 来 这 利 
式 上 。 实 际 的 合 


色 。 






























































同意 图 














1980 年 Smith 在 分 布 式 问题 求解 中 提出 了 一 利 











K 





14. 20 4H 














协议 广泛 月 
同 网 系统 基于 合同 网 协议 提供 一 种 合同 协议 ， 
4 了 合同 网 系统 中 结 点 的 结构 。 








Pp， 可 以 通过 规定 各 种 行为 与 目标 的 相关 怕 
尼 黑 技术 大 学 的 WeiB 通 过 分 布 式 学 习 ， 形 成 对 某 个 问题 的 一 组 行为 与 目标 的 相关 
发 协调 的 另 一 种 方法 是 Kosoresow 提出 的 Markov 过 程 。 在 主体 目标 和 偏好 相 容 的 情况 
下 ，Markov 过 程 是 一 种 快速 的 概率 性 的 协调 方法 。 将 Markov 过 程 作为 主体 的 推 


体 交 互 过 程 的 收敛 性 和 平均 收敛 时 间 。 当 主体 目标 和 偶 好 不 相 容 时 ， 可 以 在 某 个 时 间 











不 相 窜 ， 并 提交 给 更 高 层 的 协调 协议 。 为 了 
将 群体 成 员 的 行为 联结 


成 边界 的 协调 。 这 种 动态 习 
态 分 区 算法 ， 尤 其 是 可 以 降低 性 能 的 波动 性 


E. Jennings 等 采 月 











E 构 处 理 区域 可 以 在 整个 系统 内 
E， 更 适合 于 动态 实时 
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而 达成 行为 序列 的 自发 协 














机 制 ， 可 以 














述 协同 了 
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E， 为 异常 处 理 提供 疹 








共同 责任 概念 ， 





问题 求解 中 应 该 如 何 行 动 。 这 种 共同 责任 可 以 为 系统 结 








E 则 。 他 们 在 
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合同 网 协议 Ccontact net protocol) [Smi 
在 多 主体 系统 的 协调 中 。 主 体 之 间 通 信 经 常 建立 在 约定 的 消息 格 
见 定 任务 指派 和 有 关 主 体 的 角 





里 调 意 医 





lf 主体 行为 ， 需 
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作为 行 
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th 
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本 地 数据 库 


通信 处 理 器 











合同 处 理 











图 14. 20 合同 网 结 点 结构 

本 地 数据 库 包括 与 结 点 有 关 的 知识 库 、 协 作协 商 当 前 状态 和 问题 求解 过 程 的 信息 。 另 少 
三 个 部 件 利用 本 地 知识 库 执行 它 们 的 任务 。 通 信 处 理 器 与 其 它 结 点 进行 通信 ， 结 点 仅仅 通过 
该 部 件 直接 与 网 络 相 接 。 特 别 是 通信 处 理 器 应 该 理解 消息 的 发 送 和 接收 。 

合同 处 理 器 判断 投标 所 提供 的 任务 ， 发 送 应 用 和 完成 合同 。 它 也 分 析 和 解释 到 达 的 消息 。 
最 后 ， 合 同 处 理 器 执行 全 部 结 点 的 协调 。 任 务 处 理 器 的 任务 是 实际 处 理 任 务 赋予 它 的 处 理 和 
求解 。 它 从 合同 处 理 器 接受 所 要 求解 的 任务 ， 利 用 本 地 数据 库 进 行 求解 ， 并 将 结果 送 到 合同 
处 理 器 。 

合同 网 工作 时 ， 将 任务 分 成 一 系列 子 问题 。 有 一 个 特定 的 结 点 称 作 管理 器 ， 它 了 解 子 问 
题 的 任务 〈 见 图 14. 21) 












































































































































































































































管理 器 结 点 





























图 14. 21 合同 网 系统 中 合同 协商 过 程 
































管理 器 提供 投标 , 即 要 解 而 尚未 求解 的 子 问题 合同 。 它 使 用 合同 协议 定义 的 消息 结构 ， 例 


如 : 

TO: All nodes 

FROM: Manager 

TYPE: Task bid announcement 

ContractID: XX-yyY-ZZ 

Task Abstraction: <description of the problem? 

Eligibility Specification: «list of the minimum requirements? 

Bid Specification: <description of the required application 
392 
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information> 
Expiration time 


标书 对 所 有 主体 都 是 开放 的 ， 通 


<latest possible 


























的 资源 和 主体 知识 。 合 同 处 理 器 决定 该 公布 的 任务 申请 是 
结构 通知 管理 器 : 
TO: Manager 
FROM: Node X 
TYPE: Application 
ContractID: XX-yy-ZZ 


Node Abstraction: 

管理 器 必须 选择 结 点 ， 全 部 应 用 中 它 最 适合 于 所 给 的 
法 ， 选 择 最 好 成 绩 ， 将 合同 有 关 的 子 问题 求解 任务 交 给 它 
F: 









































TO: Node X 
FROM: Manager 
TYPE: Cntract 
ContractID: XX-yy-XX 


Task Specification: 


过 合同 处 理 器 进行 求解 。 使 用 本 地 数据 库 求解 当前 可 用 


application time> 






































不 是 要 做 。 如 果 要 做 ， 它 将 按 下 面 


<description of the node’ s capabilities> 





合同 。 它 访问 具体 的 求解 知识 和 方 
。 根 据 合同 消息 管理 器 指派 合同 如 














<description of the subproblem> 








Hr Ai A BO AVE SET HESS, DOE TB RY 
已 解 的 问题 传 给 管理 器 。 承 诺 的 结 点 完全 负责 子 问题 的 求 
是 任务 分 布 。 结 点 不 接受 其 它 结 点 当前 状态 任何 信息 。 如 
它 的 能 力 和 资源 ， 那 么 可 以 进一步 划分 子 问题 ， 分 配子 合 
器 角色 ， 提 交 子 问题 标书 。 形 成 分 层 任务 结构 ， 每 个 结 点 
合同 成 员 。 




































































HU BE 


受 合 同 。 当 问题 求解 阶段 完成 ， 
解 ， 即 完成 合同 。 合 同 网 系统 纯粹 
果 结 点 晚 些 认为 所 安排 的 任务 超过 
同 到 其 它 结 点 。 这 时 ， 它 


EZA ] 作 管理 
可 以 同时 是 管理 器 、 投 标 申 请 者 和 







































































原来 合同 网 系统 作 了 一 些 扩充 ， 影 响 协商 的 过 程 。 
以 参加 投标 ， 里 器 必须 














Eg 


FP 之 一 是 公布 标书 。 所 有 结 点 都 可 
评价 大 量 的 投标 书 ， 使 用 大 






































这 要 求 通信 频繁 和 丰富 的 资源 。 管 理 

源 。 管 理 器 很 重 的 负载 可 能 是 公共 的 投标 请 求 造 成 的 。 首 
小 部 分 。 可 以 想象 ， 管理 器 具有 各 个 结 点 能 力 的 其 体 知识 
的 可 能 的 侯 选 结 点 。 第 二 点 ， 公 共 投 标 请 求 完全 可 以 取消 
求解 问题 的 方法 构建 ， 那 么 ， 管 理 器 可 以 直接 与 过 去 求解 
用 ， 签 订 合同 。 另 外 ， 结 点 自己 也 可 以 投标 。 这 种 情况 下 
新 的 任务 。 投 标 请 求 上 只 是 在 没有 找到 合适 的 投标 者 时 需要 。 
合同 网 系统 扩充 的 第 二 方面 是 影响 实际 合同 的 指派 。 
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先 ， 它 要 有 能 力 只 通知 投标 
， 那 么 它 就 能 粗略 估计 处 理 
。 如 果 未 解 的 子 问题 可 以 采用 以 前 
问题 的 结 点 联系 ， 如 果 资 源 可 以 利 
， 管 理 器 许多 开放 的 投标 只 是 调查 
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~ 





原 协 议 中 ， 管 理 器 在 指派 合同 后 要 











等 待 接受 有 关 结 点 的 信息 。 当 确认 信息 到 来 之 前 ， 管 理 






































如 ， 当 一 个 结 点 投标 时 ， 可 以 提供 后 面 接受 承诺 可 外 





Las AA 
标 后 并 未 形成 合同 ， 没 有 建立 合同 约束 。 建 议 的 扩充 是 将 合同 约束 建立 移 到 世 
EB 的 条 款 。 与 此 本 


道 结 点 是 否 接受 合同 。 结 点 投 
小 商 的 早期 。 例 
Hoc, 接受 可 能 性 不 是 简 



























































单 的 接受 或 拒绝 ， 而 可 以 带 有 一 些 参数 或 条 件 。 合 同 确认 
在 规定 期 限 内 结 点 没有 确认 合同 ， 那 么 管理 器 将 中 断 合同 
免 管理 器 等 待 太 长 的 时 间 ， 在 最 长 时 间 间 隔 之 前 ， 管 悍 









































14. 6. 3 部 分 全 局 规划 





部 分 全 局 规划 (Partial Global Planning，PGP) 方 法 
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LE 











的 最 大 期 限 是 进一步 的 扩充 。 如 果 
。 合 同 处 理 器 也 可 以 发 送信 息 ， 避 











器 就 可 以 重新 指派 合同 。 





H 





EE 要 的 特点 是 多 主体 系统 中 工作 
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时 每 个 主体 的 能 力 是 给 定 的 , 收集 当前 状态 的 信息 , 其 它 主体 达到 的 目标 。 主 体 可 以 使 用 知识 
优化 它们 的 任务 。PGP 提供 了 一 种 灵活 的 概念 ， 协 调 分 布 式 问题 求解 部 件 。 
使 用 PGP 的 基本 条 件 是 需要 几 个 分 布 式 主体 为 整个 问题 求解 工作 。 一 个 主体 作为 PGP 的 一 部 
分 ， 考 虑 同 组 其 它 主体 的 动作 和 关系 来 形成 自己 的 结论 。 这 种 知识 称 作 部 分 部 分 全 局 规划 ， 
它 反映 求解 全 局 问题 的 一 个 主体 决定 的 部 分 规划 知识 。 图 14. 22 给 出 一 个 例子 ， 说 明 PGP 系 
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统 的 基本 工作 原理 。 两 个 主体 分 别 工 作 两 个 子 问 题 (A 和 B). 每 个 主体 发 送信 息 到 它 的 合作 者 


RS 














主体 1 通知 
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图 14.22 部 分 全 局 规划 例 示 

主体 2 它 当 前 工作 子 问题 A。 同 样 ， 主 体 2 通知 它 工作 子 问 题 B。 每 个 主体 可 以 利用 该 信 
县 知道 合作 者 的 情况 。 例 如 ， 主 体 1 知道 它 的 子 问题 A2 取决 于 主体 2 的 子 问题 B， 它 可 以 通 
知 主体 2。PGP 处 理 过 程 可 以 分 为 四 步 : 

(1) 每 个 主体 创建 局 部 规划 

(2) 主体 之 间 通 信和 交换 规划 

(3) 创建 部 分 局 部 规划 

(4) 修改 和 优化 部 分 局 部 规划 。 
协调 过 程 开 始 之 前 ， 每 个 主体 必须 创建 局 部 规划 ， 求 解 指派 的 任务 。 每 个 局 部 规划 至 少 
要 有 不 同 层次 的 两 级 。 整 体 结 构 包 含 求解 问题 最 重要 的 步骤 ， 反 映 主体 长 期 求解 问题 规划 ; 
详细 结构 包括 每 个 具体 子 问 题 的 详细 信息 。 
一 旦 局 部 规划 完成 ， 第 二 步 ， 主 体 之 间 交 换 知识 。 每 个 主体 必须 具备 一 定数 量 的 专门 组 
织 的 知识 ， 它 可 以 决定 在 问题 求解 中 其 它 主体 的 角色 ， 什 么 信息 感 兴 趣 。 元 级 组 织 决定 主体 
层次 。 一 旦 主体 收 到 其 它 主 体 的 规划 信息 ， 它 必须 以 PGP 形式 组 织 。 检 查 有 和 否 新 的 信息 包括 
对 它 内 部 规划 的 依赖 关系 ， 然 后 ， 将 这 些 相关 的 子规 划分 组 成 逻辑 部 件 。 部 分 全 局 规划 由 下 
列 部 件 构 成 。 

(OD 目标 。 目 标 包含 POP 基本 信息 ， 包 括 存 在 的 理由 、 长 期 目标 、 与 其 它 规划 比较 的 优 








































































































































































































































































































先 级 。 























(2) 规划 活动 图 。 规 划 活 动 图 包括 其 它 主 体 的 任务 ， 它 们 当前 的 状态 ， 详 细 计划 ， 期 户 
的 结果 和 有 关 和 尝试 。 
(3) 求解 构造 图 。 求 解构 造 图 包括 主体 之 间 怎 样 进行 信息 通信 和 彼此 协作 。 主 体 发 送 的 
规划 的 具体 大 小 和 时 间 特 别 重 要 。 
(4) 状态 。 状 态 包括 报告 PGP 全 部 重要 信息 ， 例 如 其 它 主体 所 接受 的 规划 、 接 受 的 时 间 































































































标志 。 
PGP 规划 器 的 核心 是 分 析 其 它 主体 送 来 的 信息 , 决定 几 个 主体 是 不 是 工作 于 相同 目标 。PGP 
规划 器 以 规划 活动 图 方式 集成 知识 。 它 也 预测 其 它 主 体 未 来 的 行为 和 结果 。 规 划 活 动 图 形成 
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主体 未 来 工作 的 基础 。 规 划 图 用 来 把 局 部 规划 与 新 的 知识 比价 ， 














也 创建 求解 构造 图 。 PGP 规划 器 产生 修改 的 局 部 规划 作为 最 终结 果 















































规划 器 要 使 用 整个 系统 当前 的 知识 进行 优化 和 充实 细节 。 


























使 用 局 部 规划 器 有 许多 优点 。 最 重要 的 好 处 是 高 度 动态 的 系 














创建 修改 的 局 部 规划 。 这 时 
。 具 体 规划 送 到 具体 主体 后 ， 




















统 行为 。 所 有 规划 任何 时 候 








都 能 适应 新 的 环境 求解 ， 整 个 系统 具有 高 度 灵 活性 和 有 效 性 。PGP 尽 可 能 识别 原 规 划 的 改变 。 
必须 按时 地 将 所 作 的 修改 送 到 其 它 结 点 ， 因 为 修改 会 影响 它们 的 
都 要 通知 ， 那 么 就 会 加 重 整 个 系统 的 负担 。 因 此 可 以 允许 存在 小 


= 





























工作 。 如 果 任 何 细小 的 修改 
的 不 一 致 性 ， 仅 仅 通 信 重 要 


的 修改 。 系 统 开发 者 必须 开发 这 样 的 容错 系统 ， 并 规定 一 个 阔 值 来 指示 修改 是 重要 的 。 第 二 
个 好 处 是 有 效 性 和 避免 见 余 。 两 个 或 多 个 主体 工作 相似 或 相同 的 问题 ， 将 马上 登记 它们 整个 




















PGP， 然 后 在 它们 中 重新 指派 或 构建 。 工 作 的 指派 非常 有 效 。 





当然 ， 原 来 的 PGP 模型 有 许多 限 

















关 ， 特 别 在 多 主体 系统 中 腊 构 主体 不 同 问题 求解 。 怎 样 




















处 理 动 态 主体 重复 改变 求解 策略 ? 能 否 工作 在 实时 环境 下 ， 即 要 在 规定 时 间 内 完成 具体 任 























务 ? 主体 之 间 怎 样 进行 协商 ”有 一 些 方案 对 PGP 模型 进行 扩充 ， 例 如 通 





























NER 


部 分 全 局 规划 GPGP 








(General Partial Global Planning, GPGP) 提供 新 的 部 件 来 满足 这 种 要 求 [44] 。 
Osawa 以 机 器 人 协作 为 背景 ， 提 出 一 种 在 开放 环境 下 (知识 不 完备 、 不 准确 、 能 力 不 同 ) 
构造 协作 规划 的 方法 [0sawa 1993]。 在 这 一 方法 中 ， 理 性 主体 使 用 “多 世界 模型 ” 构成 不 


























































































































完全 的 单 主体 规划 , 再 根据 基于 效用 的 模型 协商 平衡 费用 ， 从 而 构成 协作 规划 。 这 一 过 程 可 以 


描述 为 : 








(1) 需求 者 (requestor) 向 公告 板 主 体 发 送 需 求 建议 RFP 
(2) 空闲 主体 向 公告 板 主体 申请 一 个 RFP 

(3) 公告 板 将 REP 发 到 提出 申请 的 空闲 主体 

(4) 空闲 主体 产生 个 体 规划 

(5) 空闲 主体 将 其 规划 发 给 需求 者 

(6) 需求 者 调查 协作 的 可 能 

(7) 需求 者 发 送 协作 奖励 

(8) 申请 者 组 成 协作 规划 






































其 效用 值 可 用 下 式 计算 : 








utility (a, g)=worth(a, g)-cost (plan (a, g)) 
效用 的 平均 是 协作 的 原则 。 尽 管 0sawa 在 一 定 程度 上 解决 了 J 






















































































一 种 排序 关系 , 不 同 主体 效用 一 般 不 能 用 数值 比较 。 


14. 6. 4 基于 约束 传播 的 规划 




















强调 主体 和 环境 的 交互 以 及 紧 耦 合 

















为 中 的 作用 。 规 划 方 法 则 利 ) 








] 某 种 搜索 方法 来 确定 主体 要 执行 动 











于 放 环 境 中 主体 协作 的 问题 ， 





但 将 各 主体 效用 简单 相 加 再 平均 的 方法 仍然 太 弱 ， 因 为 主体 效用 仪 是 主体 本 身 对 目标 偏好 的 


在 多 主体 系统 中 , 主体 协调 工作 可 以 通过 情景 动作 (situated action) 和 规划 (planning) 
来 实现 。 基 于 情景 动作 的 方法 


的 感知 一 动作 循环 在 主体 行 
作 的 顺序 。 相 对 于 情景 动作 












































而 言 ， 规 划 可 以 保证 主体 行为 的 正确 性 ， 使 主体 更 具有 理性 。 因 而 ， 被 广泛 地 应 用 于 “ 慎 思 ” 











主体 中 。 





























但 是 ， 由 于 缺乏 对 多 主体 系统 中 主体 间 协 调 、 协 作 的 考虑 ， 



































目前 大 多 数 通 用 规划 算法 ， 









































如 UCPOP, GraphPlan, SNLP 等 并 不 能 被 直接 应 用 。 在 多 主体 环境 下 ， 主 体 间 的 动作 是 并 行 的 ， 


不 由 单一 主体 控制 的 ， 一 个 主体 可 以 通过 通讯 和 协商 来 试图 改变 



































协调 ， 可 以 通过 请 求 其它 主 体 的 协作 来 完成 自身 能 力 所 不 及 的 工 
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其它 主体 的 行为 使 系统 更 加 
作 。 由 于 经 典 的 规划 算法 假 
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设 主体 自 



































一 个 规划 , 特别 是 偏 序 规划 可 以 由 下 


constraint) 


来 不 完全 指定 执行 的 步骤 。 规 划 求 解 就 是 对 规划 逐步 添加 细 化 约束 的 过 程 。 





己 是 唯一 可 以 改变 其 所 在 环境 的 ， 因 
主体 的 求解 
动态 环境 下 的 




















能 力也 受到 了 限制 。 
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部 分 全 局 规划 Par 





为 一 方面 ， 
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分 布 式 规划 假设 环境 中 的 突 发 事件 是 不 可 预料 的 ， 并 是 
进行 。 这 种 方法 不 能 保证 规划 的 可 靠 性 和 完备 性 。 


tial Gl 








I 其 它 主 体 冲 突 ， 并 
obal Planning) 等 
| 主体 的 规划 和 执行 交替 























和 规划 步骤 上 的 约束 来 在 





















































来 指定 执行 步骤 间 的 时 间 先 后 顺序 ， 用 等 价 约束 〈c 








ie: 用 时 序 约束 (temporal 


odesignation constraint) 











主体 之 间 的 冲突 


协调 和 主体 间 的 协作 也 可 以 通过 指定 动作 之 间 的 时 序 和 等 价 约束 来 实现 。 不 同 主体 的 动作 之 




















间 的 资源 占 


冲突 和 一 个 主体 为 其 它 主 体 的 服务 可 以 用 主体 动作 间 的 因 





AX. OF 


ERATE KEE, D 
真 值 条 件 (truth criterion) 保证 。 我 们 提出 了 一 种 多 主体 
体 并 发 地 对 其 要 完成 的 目标 进行 规划 ， 当 某 个 主体 决定 在 规划 中 引 
过 和 其 他 主体 间 的 约束 传播 来 实现 多 主体 系统 的 协调 [262] 。 可 以 六 














性 | 
















































































规划 算法 是 可 靠 的。 
1. 规划 表示 


在 规划 动作 的 描述 上 ，STRIPS 表示 在 实现 实 
































算 又 过 于 困难 。 








1989 年 Pednault 提出 了 一 种 动作 





























果 链 (causal link) 
| 通过 加 入 主体 动作 之 间 的 时 序 约束 来 解决 。 同 时 ， 主 体 间 的 协作 动作 ， 如 两 个 


] 单 独 的 动作 描述 来 表示 。 多 主体 环境 下 一 个 主体 规划 的 正 











全 











并 行 偏 序 








规划 算法 ， 
进 一 个 新 的 动作 时 
E 明 分 布 式 多 主体 并 行 偏 序 


每 个 主 
， 它 通 








j 的 规划 器 中 限制 过 多 ， 而 完全 采用 情景 演 
述 语言 ADL。 我 们 扩充 ADL 来 描述 多 主体 


系统 中 的 规划 动作 ， 它 的 表示 能 力 介 于 STRIPS 和 完全 的 一 阶 逻 辑 之 间 。 


ADL 的 语 














表示 ， 记 作 S 


Precon 


d: 前 提 条 们 











义 基 于 描述 世界 状态 的 数学 结构 。 一 个 动作 a 在 ADL 















































组 








述 函数 如 何 从 s 变 到 t 的 关系 。 当 用 
可 以 被 合并 为 EFFECTS。 但 是 本 文 限制 前 提 条 件 为 析 取 并 且 不 使 月 















































个 动作 模板 可 以 表示 为 动作 步骤 和 它 的 效果 。 


定义 14. 





化 (quantified) 的 文字 ; & 是 步骤 的 效果 旨 











1 一 个 动作 步骤 S 是 一 个 四 元 组 (D,s,Dsy)， 其 中 ， 











ar 


























用 ps、 





者 表示 





等 价 ， 


束 或 不 等 约束 ; yy 


Ess Bso RATED RS 


R e FATE o H 

















是 步骤 执行 时 要 占用 的 资源 ， 


中 m4 





A 
r1 








ay 








Blu Aly 不 能 被 合并 到 任意 的 合式 公式 中 。 有 规定 了 规划 中 变量 和 
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bP 的 所 有 公式 ， 为 一 组 耦合 对 (u, v) —(u, v) o 前 者 表示 自 | 





HEMRAH (ss) 








HEHE, ME a 在 状态 s 被 执行 并 且 产 生 状 态 t。 一 个 状态 s 和 状态 描述 fg 的 联系 用 

















=. ADL 中 的 动作 模板 代表 了 一 组 可 能 的 动作 ， 用 四 组 可 选 的 子 句 来 
F; Add 和 Delete: 状态 的 关系 RR 中 被 加 入 和 删除 的 公式 集合 Update: 
RO 表示 加 入 ， 一 R( 表示 删除 时 ，Add 和 Delete 


H UPDATE。 更 形式 化 地 ， 一 





p 是 步 又 的 前 提 ， 
































是 步骤 的 约束 ， 是 p 中 变量 的 一 组 等 价 约 
对 象 的 文字 来 表示 。 
pr €. Br. yo B'PIBSEHTZDRNTH 









































变量 和 常量 ， 














销量 上 的 


自由 变量 。w 和 v 必须 等 价 ， 即 ， 它 们 可 以 合并 到 同一 个 合式 公式 中 ， 一 (u,v) 表 示 不 











WHER go PESER S 所 占有 的 资源 。 我 们 假设 某 一 资源 在 动作 执行 时 ， 必 须 为 其 所 独占 。 
所 以 ， 两 个 占用 资源 有 交集 的 动作 步骤 不 能 同时 被 执行 ， 否 则 会 发 生 资 源 的 冲突 ， 必 须 进 行 
协调 。 值 得 注意 是 前 提 o. 和 资源 % 的 不 同 ， 前 提 py ERE S 的 实例 A 执行 前 为 真 ， 即 ， 在 状 


















































A s 前 为 真 ;， 资源 %Y 要 求 在 S 的 实例 A 执行 过 程 中 为 空闲 ， 即 在 状态 s 和 状态 t 之 间 为 空间 。 











定义 14. 2 动作 效果 是 一 个 三 元 组 (p, 0, B), HH, o 是 效果 的 前 提 条 件 ，0 是 效果 的 




















后 续 条 件 ， 它 们 是 一 组 量化 的 文字 ; 是 p 和 0 上 自由 变量 上 的 等 价 约束 。 

例如 ， 考 虑 对 把 一 个 积木 b MALE x 移 到 位 置 y 的 例子 。 设 动作 步骤 为 move (b, x, y). ‘EAT 
以 描述 为 : 

{{on(b, y), clear(b), clear(y)}, lg, lon(b, y), —on(b, x), clear(x)j, ø} {(y + table),—clear(y),¢},\, lb #EX,D#Y,X# y) 从 






































作 表 示 空 集 。 它 一 种 更 可 读 的 Common Lisp 表示 如 下 : 

















(define (operator move) 
: parameters (?b ?x ?y) 
:precondition (and (on ?b ?x) (clear ?b) (clear ?y) 
(x ?b ?x) (#?b Py) (#?x ?y)) 
:effect (and (on ?b ?y) (not (on ?b ?x)) (clear ?x) 
(when (#?y table) (not(clear ?y))))) 


一 般 来 说 , 不 同 主体 动作 之 间 的 关系 可 以 用 它们 之 间 的 约束 来 表示 , 如 , 主体 Cc 的 动作 4。 


























的 执行 是 另 一 个 主体 BIBI TE Ag 执行 的 前 提 可 以 用 这 两 个 动作 的 因果 链 ( 定 义 见 下 节 ) 表 示 。 


在 一 个 主体 的 内 部 表示 中 ， 这 种 约束 关系 表示 为 来 自 其 它 主体 的 承诺 和 主体 自身 动作 和 外 部 
承诺 之 间 的 约束 关系 。 一 个 主体 答应 为 其 它 主体 完成 某 件 事 时 ， 它 向 其 它 主体 提供 一 个 承诺 
使 其 相信 和 它 一 定 会 完成 这 件 事 。 有 了 其 它 主体 的 对 茶 动 作 A 的 承诺 ， 主 体 就 可 以 在 推理 时 相 
fet A 的 有 效 性 ， 并 把 A 等 同 于 自己 的 动作 而 利用 A 的 结果 或 者 避免 其 它 动 作 和 A 冲突。 另外 ， 


值得 考虑 的 是 在 不 同 主体 之 间 的 合作 动作 。 对 于 mn 个 动作 A,, A,,...,4, 和 某 一 性 质 p， 如 果 p 



































































































































在 A, Ay... A, 被 并 行 执行 后 为 真 ， 但 是 A, 4,,…, A, 中 任何 一 个 动作 没有 被 执行 时 都 不 为 

















真 ， 则 称 AL, Ay... A, 为 合作 动作 (joint-action)，p 为 合作 动作 的 结果 之 一 。 合 作 动作 在 


多 主体 系统 中 是 常见 和 不 可 少 的 ， 例 如 ， 两 个 主体 合作 来 抬 起 一 张 宋 子 。 由 于 单个 主体 的 动 
作 不 能 反映 合作 动作 的 效果 ， 一 个 合作 动作 不 能 用 每 个 主体 上 的 动作 分 anes one 


单独 的 动作 模板 来 描述 。 同 时 ， 合 作 动 作 中 ， 各 个 主体 的 动作 分 量 41, 4,,.…, A, 之 间 是 


时 序 等 价 的 。 如 果 它 们 是 时 序 等 价 的 ， 动 作 执行 的 时 间 等 价 由 主体 同步 信息 来 保证 。 时 序 等 
价 的 定义 如 下 : 


定义 14. 3 一 个 偏 序 集 上 (5S,<) 的 时 序 等 价 关 系 定义 为 :对 于 任意 s1,s, ES, s ms 









































antes 
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M4: 对 于 任意 ts， 


CD: 如 果 t < s,， 有 1<s,; MRS St, Hs Sto 











(2) 如 果 t < s,， 有 1t< si; WRs, St, As, Et. 


在 偏 序 规划 中 ,因果 链 (causal link) 被 用 来 显 式 地 记录 动作 之 间 的 依赖 关系 。 根 据 Austin 
Tate fll Daniel Weld 的 工作 ， 因 果 链 可 定义 为 


定义 14.4 因果 链 是 四 元 组 (s,, e, 7, 5) )， 表 示 为 8 一生->sj; 其 中 , c Es, 的 前 提 (或 










































































者 效果 的 前 提 ) 之 一 ，e 是 8 的 效果 之 一 。 并 且 ， 存 在 3g €0, fli a flr (H—) unified). 

















定义 14. 5 规划 是 四 元 组 (9, B, O, L) . S 是 一 组 动作 步 又， 包括 主体 自身 的 动作 和 其 他 








主体 的 动作 承诺 ; B S 上 自由 变量 的 binding 约束 ; 0 是 一 组 偏 序 约 东 ts; < sj |, 5; € Sf: 
L 是 因果 链 的 集合 。 
定义 14. 6 规划 问题 是 四 元 组 (A, I,U, T). A 是 动作 模板 的 集合 ，I 是 一 组 表示 初始 情 






































景 的 文字 ; 工 是 表示 目标 的 量化 子 句 集 (quantified clauses); U ÆA, 7, 工 中 变量 的 论 域 。 








定义 14.7 目标 规划 。 对 一 个 问题 w = (A, TU, Ty》 ， 它 的 目标 规划 g-plan (ar) 是 规划 





人 


So 和 s, 中 的 其 他 元 素 〈element ) 为 空 集 。 


2. 多 主体 环境 下 的 规划 问题 
多 主体 的 规划 和 单个 主体 的 规划 有 许多 不 同 之 处 。 例 如 ， 主 体 之 间 必 须 进 行规 划 信 息 的 
交流 来 协调 它们 之 间 的 规划 冲突 。 但 是 ， 从 状态 空间 来 考虑 规划 ， 真 值 标准 [4 箱 依 然 适 用 。 一 
个 性 质 p 在 状态 s 下 为 真 条 件 由 下 面 的 真 值 标准 给 出 : 一 个 性 质 p 在 某 一 状态 s 下 为 真 的 充 
要 条 件 是 存在 一 个 性 质 建 立 状态 1 < s ， 使 性 质 p AE; HH, EEE p 的 建立 状态 t 和 状态 
s 之 间 不 存在 使 p 不 成 立 的 终止 状态 。 它 可 以 形式 化 的 表示 为 : 
一 个 性 质 p 在 状态 s 为 真 iff: 
(1) 存在 一 个 状态 t 使 u 为 真 ， 既 holds(u，t)。 
(2) p=u 
(3) t<s 
(4) 对 于 所 有 的 状态 w 和 性 质 q 使 得 holds aq, w) 
或 者 (a) pq 
(b) s<w 
(Cc) ”对 于 各 种 变量 的 等 价 关系 使 p = 9 ， 存 在 一 个 状态 v， 其 中 
holds ~r, v) 并 Hw<v<s, r=p 
Hop, < 、< 表 示 状 态 之 间 的 时 序 关系 , =、 关 表示 性 质 之 间 的 等 价 或 不 等 价 关 系 , holds (v, 
t) 表 示 性 质 v 在 状态 时 为 真 。 作 为 一 条 定理 ， 真 值 条 件 的 正确 性 已 经 被 Chapman 在 [4 中 证 明 
了 。 利 用 此 真 值 条 件 ， 可 以 导出 一 种 最 小 承诺 (least commitment) 的 规划 生成 思想 。 按 照 
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这 个 思想 ， 规 划 的 目标 求解 过 程 可 以 用 真 值 条 件 解释 为 两 个 部 分 ， 一 是 性 质 的 建立 阶段 ， 通 
过 引入 新 的 和 利用 已 有 的 动作 来 实现 ， 二 是 性 质 的 维护 阶段 ， 把 对 已 建立 的 性 质 有 威胁 进行 
升级 或 降级 使 性 质 在 需要 成 立 的 时 候 得 到 保护 。 对 每 个 性 质 的 维护 是 通过 因果 链 记 录 动 作 之 
间 的 依赖 关系 来 保护 引入 的 动作 不 会 干涉 其 它 动作 的 推理 实现 。 
提供 服务 、 目 标 冲 突 、 资 源 冲突 和 合作 动作 是 多 主体 规划 中 特有 的 问题 。 利 用 真 值 标准 和 上 
节 中 的 规划 表示 ， 对 它们 在 多 主体 系统 中 解决 方案 的 讨论 如 下 : 


提供 服务 : 主体 a 在 推理 时 ， 需 要 使 菜 一 断言 p 为 真 ， 但 是 它 不 在 主体 a 的 任何 动作 4, 
































































































































































































































的 效果 中 。 这 时 ， 主 体 Q E 34 BWsMEA, Cp 是 As 的 效果 之 一 ) 被 执行 使 p 成 





立 。 如 果 主 体 @& 和 达成 了 服务 提供 的 协议 ， 主 体 向 主体 Q 提交 承诺 Comm( 45). FFA. 








在 主体 & 和 的 当前 规划 中 建立 因果 链 Ag — 9 A, 和 偏 序 约束 Ag < 4 。 男 外 一 种 情况 








-— 























rer Xa 的 动作 4, 和 主体 B INSITE A, 有 重复 的 结果 p， 假 设 动 作 A5 被 先 加 入 了 规划 中 ， 











Q 可 以 先 请 求 的 服务 ,而 不 是 自己 采用 动作 A), o 这样 做 的 好 处 是 避免 了 因为 重复 动作 导致 


的 对 因果 链 的 威胁 和 它 带 来 的 回 搁 问 题 。 
目标 冲突 : 一 个 动作 s 的 目标 是 使 性 质 p 在 时 态 t 为 真 ， 如 果 男 一 个 动作 s” 的 效果 是 使 
HEM p 在 时 态 t 不 可 为 真 ， 那 么 就 要 按 真 值 标准 中 的 条 件 〈4) 进行 性 质 的 维护 ， 既 对 s” 进 


行 升 级 或 者 降级 。 由 于 所 有 的 主体 共有 一 个 初始 动作 so 并 且 它 们 的 终止 动作 cs. ) 是 一 个 规划 




























































































任务 的 子 目标 ， 同 时 ， 任 意 一 个 动作 s (RS, RI GS, Y 之 外 ) 都 要 满足 sy as < fs 因而 ， 








如 果 在 Lo，= 于 中 存在 一 个 性 质 p 和 它 的 否定 ， 不 可 能 对 s, 进行 升级 或 降级 ， 则 不 可 能 得 


到 一 个 无 冲突 的 规划 。 
资源 冲突 : 两 个 占用 相同 资源 的 动作 44， 4, 不 能 同时 被 执行 必须 在 它们 之 间 加 入 时 序 














AR A > A, Beat A < 4,。 为 了 使 规划 器 知道 资源 r 在 动作 s 时 被 占用 ， 我 们 定义 了 一 种 伪 














因果 链 s PO) >s 。 并 且 把 Free (r) 做 为 动作 的 前 提 之 一 。 这 样 ， 资 源 冲突 的 动作 之 间 就 


会 建立 时 序 约束 ， 从 而 避免 了 资源 冲突 。 
合作 动作 : 多 主体 系统 中 ， 不 同 主体 的 动作 可 以 被 并 发 地 执行 。 有 两 种 可 能 的 情况 : A 


性 质 p 在 并 发 动作 A, || 45 执行 时 被 否定 ， 而 单独 的 动作 A BA, 执行 时 成 立 ; 某 性 质 p 只 有 



























































在 并 发 动作 A, || A, 执行 时 为 真 ， 而 单独 的 动作 A, R A 执行 都 不 成 立 。 第 一 种 情况 可 以 用 因 
























































果 链 保护 性 质 p 使 4 和 4, 不 能 被 同时 执行 。 对 于 第 二 种 情况 ， 由 于 从 ALIA 单独 的 动作 模 




















MUS, AS, 中 ， 规 划 器 知道 都 不 能 了 解 并 发 执行 4 和 4, 可 以 使 性 质 p 为 真 。 因 而 ， 合 作 动 作 
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A, || 4, 必须 显 式 地 用 动作 模板 





3 规划 算法 


量 上 的 时 序 约束 也 要 加 到 另 一 个 分 量 上 。 




















述 。 合 作 动作 必须 是 时 序 等 价 的 。 所 以 ， 对 任何 一 个 动作 分 











多 主体 规划 是 一 个 或 多 个 并 发 的 主体 进程 同时 对 各 自 的 目标 在 其 规划 空间 的 搜索 。 由 于 




















协调 不 同 主体 动作 的 需要 ， 要 如 





E 可 能 冲突 的 动作 之 间 加 入 偏 序 约束 。 这 些 约束 分 布 在 不 同 的 




















主体 中 ， 所 以 存在 判断 分 布 的 偏 序 约束 的 一 致 性 的 问题 。 首 先 引 进 递 增 圈 的 定义 。 



































定义 14.8 递增 圈 。 一 个 偏 序 图 是 一 个 标记 图 (V,) ， 其 中 ，Y 是 变量 结 点 的 集合 ， 边 


E 是 关系 表达 式 ，xRy 的 集合 ， 





递增 路 径 是 变量 结 点 的 序列 使 得 对 任意 是 图 中 一 条 边 ， 如 果 ， 则 称 该 路 径 是 一 个 递增 圈 。 


显然 ， 下 面 命题 成 立 ， 





























X,VE V, RAMP AEF ENT, 记 作 = 或 《， 图 中 的 一 条 





















































命题 14.1 俩 序 图 蔓 涵 不 一 致 性 ， 当 且 仅 当 侦 序 图 中 存在 一 个 递增 图， 而 且 其 中 某 两 个 

















变量 结 点 (可 能 相同 ) 为 《关系 。 








命题 14. 2 一 个 一 致 的 规划 
作 的 投影 。 


















































中 ,如 果 存 在 一 个 递增 圈 ， 则 圈 中 的 所 有 变量 都 是 一 个 合作 动 





























规划 算法 中 ， 动 作 间 的 偏 序 关系 是 随 着 规划 的 进行 而 逐步 被 指定 的 。 即 ， 总 是 把 新 的 约 

















RA, < 4 加 入 一 组 原本 一 致 的 


M.o 








命题 14. 3 在 规划 (S, B, O 











图 5.5 分 布 多 个 主体 中 的 递增 图。(a， 递 增 圈 在 一 个 主体 内 ，p， 递增 轿 存 在 于 两 个 主 
体 中 ; c， 多 个 主体 中 的 递增 圈 》 




















约束 集中 或 者 从 一 致 的 约束 集中 减 去 约束 。 此 时 ， 下 面 命 题 成 


























, L) rh, nat POAT A, < 4 而 导致 0 不一致， 则 (1) 


0 中 存在 递增 圈 ，(2) A, < 4 一 定 是 递增 圈 中 的 一 条 边 。 


命题 14.4 在 一 致 的 规划 (5S, B, O, L) 中 减 去 约束 4 < 4)， 规 划 仍然 一 致 














在 多 主体 规划 中 ， 约 束 可 能 是 不 同 主体 动作 之 间 的 偏 序 关系 ， 并 且 是 分 布 在 各 个 主体 内 

















部 的 。 一 个 递增 图 有 可 能 存在 于 一 个 主体 内 部 ， 两 个 或 多 个 主体 之 间 。 发 现 多 个 主体 之 间 的 
递增 圈 的 存在 需要 在 主体 之 间 传 递 偏 序 信息 ， 定 理 14. 1 说 明了 递增 圈 的 计算 可 以 简化 为 动作 


A, < 4 RA, < 4 传递 闭 包 的 计算 。 由 它 可 以 得 出 一 种 其 在 分 布 的 主体 中 的 计算 方法 。 当 主 






















































































体 a 要 在 它 的 规划 中 加 入 偏 序 约束 4; < 4; 时 ， 它 首先 计算 4, 在 本 地 规划 中 O。 上 < 传递 闭 包 





2(4), BRA, eT (4). 9 














可知 O, 是 不 一 致 的 ， 和 否则 要 计算 A, 的 全 局 传递 闭 包 。 


定理 14. 1 如 果 在 一 致 的 规划 中 加 入 约束 4, < 4, 后 , 有 A eT, (4, RE A, e T (A,). 




















tp, T (4 ) 是 4 的 < 传递 闭 包 ， 则 规划 不 一 致 。 





算法 14.1. (分 布 偏 序 约束 
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致 性 判断 ): calculate transition closure(@, 4,) 
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输入 : Wa (S,B,O,L), “RA, <A, 


输出 : 


BEGI 


END 


Al. 
DES 
者 是 
所 有 








让- 


E 





传递 闭 包 7.(4,). 


N 
发 送信 息 通 知 所 有 主体 把 其 规划 中 的 时 序 约束 0 都 设 为 只 i 


计算 动作 4, 在 主体 a 中 的 局 部 传递 闭 包 7 (4); 








F 








设 SET (agent) X T. (4, ) P E4& agent, 的 动作 。 


对 于 每 一 个 非 空 的 SET(agent) ， 启 动 一 个 新 的 线程 
begin 





T. (4 ) = T. (A,) + request (calculate transition closure (agent, 


SET (agenta) ); 
return. 


end 
所 有 的 子 线程 返回 后 ，return T (4); 
通知 所 有 的 主体 把 约束 退出 只 读 状态 。 


UK 


























算法 14.1 中 ， 主 体 之 间 的 合作 包括 两 个 阶段 :对 各 个 主体 的 任务 分 配 和 主体 的 子 目标 类 
任务 分 配 把 多 主体 系统 的 全 局 目标 分 解 并 分 配给 系统 内 的 一 个 或 一 组 主体 来 执行 。 这 里 
于 研究 后 一 个 问题 ， 即 ， 开 始 规划 时 每 个 主体 都 有 了 自己 的 目标 ， 它 可 能 是 被 分 配 的 或 
主体 为 了 满足 自己 利益 而 生成 的 。 另 外 ， 对 多 主体 系统 和 其 中 的 主体 ， 假 设 : 

动作 的 效果 都 是 这 个 工作 和 动作 执行 时 系统 状态 的 确定 性 函数 。 

主体 拥有 关于 自身 动作 ， 其 他 主体 的 动作 和 系统 初始 状态 的 全 部 知识 。 

系统 的 变化 只 能 有 主体 的 动作 引起 。 
不 论 主 体能 否 成 功 地 做 出 规划 ， 它 都 维持 在 规划 阶段 同 其 他 主体 达成 的 动作 承诺 ， 使 其 
体 的 规划 可 以 继续 进行 。 

主体 之 间 的 通信 满足 通信 语言 KQML 规范 中 的 消息 传输 约定 。 特 别 是 ， 通 讯 要 求 无 延迟 和 
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ped 
























































































































































对 同 


每 个 


一 致 。 


一 目标 消息 是 按 发 送 的 顺序 到 达 的 。 
主体 具有 如 图 14. 23 所 示 的 结构 。 由 于 主体 之 间 进 行 协商 ， 判 断 约束 一 致 性 的 需要 ， 在 
主体 内 有 三 a 

规划 线程 : 负责 执行 算法 14. 2 来 求解 自身 的 规划 问题 。 

约束 维护 线程 : 计算 动作 在 自身 动作 集 S 上 的 局 部 传递 闭 包 ， 判 断 分 布 的 偏 序 规划 是 否 








































































































通讯 和 协商 线程 :负责 主体 之 间 的 动作 约束 传递 和 进行 动作 协作 和 协调 。 
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Constraint Planner 
Thread Thread 






































[| p| Communication Agent2 Agent3 More Agents.... 


Thread 



































Agentl 








Agent Communication Channel 
图 14.23 规划 主体 的 内 部 结构 
每 个 主体 可 以 按 算法 14.2 对 自己 的 子 目 标 进行 规划 求解 。 在 算法 14.2 中 ， 主 体 按照 
UCPOP 的 框架 进行 规划 的 建立 和 维护 ; 当 需 要 从 其 他 主体 请 求 服务 和 协作 以 及 进行 分 布 偏 序 约 
束 一 致 性 判断 时 ， 主 体 之 间 要 进行 消息 的 通讯 。 
算法 14.2 ((S, B, O, L),G, A) 
































P2 


















































终止 条 件 : 如 果 6 为 空 ， 则 返回 (5, B, O, D). 




















目标 消解 ， 从 6 中 取出 一 个 目标 (Q@,4.)， 





WA QO, 的 合 取 ， 则 把 每 个 (2,,4。) 加 入 G, go to 2; 














如 果 Q 是 ;的 析 取 ， 则 非 确定 地 选择 一 个 OQ; ， 并 把 它 加 入 6，go to 2; 




















如 果 Q 是 一 个 文字 ， 并 且 在 L 中 存在 一 个 链 A, — 9 A, > RE failure. 





























存在 的 动作 , 或 者 从 人 选择 一 个 新 的 动作 4,， 











选择 操作 算 子 : 非 确 定性 地 选择 一 个 在 S 
































HELE SUR e 和 一 个 全 称 子 句 pp e T(8,). FF HMGU(Q, p)# L (QUII p 存在 一 个 最 一 般 的 









































归结 ); WRA 中 不 存在 满足 条 件 的 动作 并 且 存 在 一 个 主体 其 动作 4% 满足 条 件 ， 向 主体 p 
发 出 请 求 ， 如 果 存 在 合作 动作 满足 条 件 ， 向 所 有 合作 动作 的 执行 者 发 出 请 求 ， 被 请 求 的 主体 
在 其 规划 已 中 执行 步骤 4 和 5， 如 果 成 功 ， 刀 返回 Comm (44)， 把 合作 动作 或 Comm CA) D 












































AS, go to 2; SUJ, f 返回 failure. 





使 新 动作 有 效 : S S-S,., CG, WRAS, WMA, HAP, FFA 


(preconds(A,)\ MGU(Q,R, B), A, ) 加 入 到 G' , JE non-cd-constraints (A, ) JAP! B' 


rH 
o 





因果 链 的 保护 ， 对 每 个 因果 链 ! = A, — 9 A, 和 每 一 个 可 能 威胁 到 1 的 动作 4,， 从 下 面 








三 中 方案 中 选 一 (如 果 没有 选择 ， 则 返回 失败 ) 
(a) 升级 : 对 0 进行 分 布 偏 序 约束 一 致 性 判断 ， 如 果 约 束 一 致 ，0'= OU{4 ,< A] 
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Cb) 降级， 对 0 进行 分 布 偏 序 约束 一 致 性 判断 ， 如 果 约束 一 致 ，O'= UIA, < A,} 














Cc) 面 对 : WA A 所 威胁 的 1 为 条 件 结论 ， 令 其 条 件 为 5S， 结论 是 R， 则 加 入 


(AS \ MGU(P,R), A) 8G" rp. 








递归 调用 : 如 果 B 不一致， 返回 failure; 否则 调 


























1((S', B', O' L}, G, A). 

















算法 14. 2 是 可 靠 的 ， 但 却 不 是 完备 的 。 所 谓 可 徘 性 ， 是 指 对 于 一 个 规划 问题 ， 如 果 主 体 
采用 的 规划 算法 找到 了 一 个 规划 ， 那 么 它 是 规划 问题 的 解 ， 下 面 的 定理 14. 2 给 出 了 对 可 靠 性 
的 简单 证 明 ， 算 法 14. 2 不 是 完备 的 ， 是 因为 主体 在 其 规划 空间 上 的 搜索 和 其 他 主体 搜索 过 程 
有 时 序 和 等 价 约束 关系 ， 所 以 ， 主 体 的 搜索 空间 受到 了 限制 。 特 别 是 ， 为 了 不 使 并 行规 划 过 







































































于 复杂 和 匈 长 ， 我 们 没有 提供 一 种 机 制 使 一 个 主体 在 回 摘 后 找 不 到 解 时 ， 可 以 请 求 其 他 主体 
也 回 搁 或 者 放松 约束 使 请 求 主体 当前 时 刻 的 解 空间 扩张 仍 可 以 继续 进行 搜索 。 






































定理 14. 2 (可 靠 性 ): 对 于 一 个 采用 算法 14. 2 的 


划 问 题 。 如 果 算 法 14. 2 返回 一 个 规划 P， 则 P 了 是 @ 的 






































主体 来 说 ，Q (A, ILU, T) 是 它 的 规 
一 个 解 。 











证 明 概 略 : 依照 Pednault 的 因果 关系 定理 和 Chapman 的 真 值 标 准 ， 算 法 14. 2 的 每 一 次 

















迭代 前 后 ， 规 划 都 满足 循环 不 变性 〈 如 果 G 中 的 子 目标 都 被 规划 P 满足 , 则 P ie or 的 一 个 解 )。 
由 于 算法 开始 和 终止 时 ， 算 法 的 循环 不 变性 都 满足 ! 并 且 ， 当 算法 终止 时 ，G 为 空 ， 没 有 其 他 
的 条 件 限制 P 是 规划 的 解 。 所 以 算法 14. 2 返回 的 规划 P 是 c 的 一 个 解 。 



































14. 6. 5 基于 生态 学 的 协作 


















































80 年 代 末 ， 在 计算 机 中 出 现 了 一 个 轩 新 的 学 科 - 一 计算 生态 学 (the ecolog of 

















computation) 。 计 算 生 态 学 是 研究 关于 开放 系统 中 诀 定 计 算 结 点 的 行为 与 资源 使 用 的 交互 过 
程 的 学 科 。 它 气 弃 了 封闭 、 静 止 地 处 理 问 题 的 传统 算法 ， 将 世界 看 作 是 开放 的 、 进 化 的 、 并 
发 的 ， 通 过 多 种 协作 处 理 问 题 的 “生态 系统 ”(ecosystem) 加 以 研究 。 它 的 进 










































































展 与 开放 信息 系 


统 的 研究 息息相关 。 




















分 布 式 计算 系统 具有 类 似 于 社会 的 、 生 物 界 组 织 形式 的 特征 。 这 类 开放 系统 与 目前 的 计 
算 机 系统 有 很 大 差别 ， 它 们 对 于 复杂 的 任务 进行 异步 的 计算 ， 它 们 的 结 点 可 以 在 内 部 结构 陌 
生 的 其 他 机 器 上 产生 进程 。 这 些 结 点 能 根据 不 完备 的 知识 与 不 完整 的 、 经 常 迟到 的 信息 做 出 
局 部 决策 。 整 个 系统 不 存在 中 心 控制 ， 而 是 通过 各 结 点 的 交互 , 协作 解决 问题 。 所 有 这 些 特点 
构成 了 一 个 并 发 的 组 合体 ， 它 们 的 交互 、 策 略 以 及 对 资源 的 竞争 类 似 纯粹 的 生态 学 。Hewitt 
提出 了 开放 信息 系统 的 概念 [Hewitt 1991]， 他 认为 不 完备 的 知识 、 异 步 的 计算 以 及 不 一 致 的 


























































































































数据 是 开放 计算 系统 所 无 法 避免 的 。 人 类 社会 ， 特 别 是 科学 界 在 面临 同样 的 问题 时 能 够 成 功 





地 通过 协作 加 以 解决 。 
计算 生态 学 将 计算 系统 看 作 是 一 个 生态 系统 ， 
































它 引 进 了 许多 生物 的 机 制 ， 如 变异 





(mutation) 即 物种 的 变化 。 这 些 变化 导致 生命 基因 的 改变 ， 从 而 形成 物种 的 多 样 性 ， 增 强 了 








适应 环境 的 能 力 。 这 类 变异 策略 成 为 人 工 智能 系统 提高 其 

















自身 能 力 的 一 种 方法 .Lenat 与 Brown 














成 功 地 将 变异 机 制 引入 他 们 的 AM 与 Eurisko 系统 中 ， 

















通过 小 型 Lisp 程序 的 语法 变异 发 现 数 





学 概念 。 他 们 认为 未 来 成 功 的 系统 应 该 是 一 系列 进化 的 、 自 组 织 的 符号 知识 结构 的 “社会 ” 


系统 。 
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Miller 5j Drexler 讨论 了 一 些 进化 的 模型 ， 如 生物 生态 系统 、 商 品 市 场 ， 并 指出 它们 与 




















计算 生态 系统 的 异同 。 他 们 认为 ， 一 个 直接 计算 市 场 是 最 理想 的 系统 模型 。 
































于 不 完备 知识 与 迟到 的 信息 是 计算 生态 系统 的 内 在 特征 ， 在 这 些 限 制 下 系统 的 动态 行 








为 的 研究 是 非常 重要 的 。Huberman 与 Hoge 提出 并 分 析 了 动态 游戏 的 过 程 ， 指 出 当 各 进程 为 完 





成 计算 任务 进行 交互 时 ， 若 有 多 个 可 选择 策略 ， 动 态 渐 近 过 程 可 能 变 为 非 线性 振荡 与 混沌 。 






































这 表明 在 计算 生态 系统 中 进化 的 稳定 策略 有 可 能 不 存在 。 他 们 同时 还 讨论 了 可 能 存在 的 普遍 
规律 以 及 合作 在 系统 中 的 重要 性 ， 并 且 与 生物 生态 系统 和 人 类 组 织 进行 了 比较 。 与 动态 理论 
相对 应 ，Rosenschein 与 Genesereth 提出 用 静态 对 策 理 论 解决 具有 不 同 目标 的 计算 结 点 的 淤 




















在 冲突 问题 。 















































目前 ， 著 名 的 生态 系统 模型 有 生物 生态 系统 模型 、 物 种 进化 模型 、 经 济 模型 、 科 学 团体 
的 社会 模型 。 大 型 生态 系统 的 智能 ， 超 过 任何 个 体 智能 











1. 生物 生态 模型 








这 是 最 车 名 的 生态 系统 ， 具 有 典型 的 进化 特征 和 层次 性 。 这 种 特性 反映 在 “食物 链 ” 中 。 
对 于 复杂 的 生物 生态 系统 而 言 ， 各 物种 组 成 了 紧密 相连 的 网 络 一 一 -食物 网 。 这 个 系统 的 主要 
和 色 是 捕食 者 与 被 食 者 。 生 命 依赖 于 生命 ， 共 同 进 化 ， 由 小 的 生态 环境 组 成 大 的 生态 系统 。 
































2， 物 种 进化 模型 








Fi HE o 




















物种 进化 的 “复制 者 ”是 基因 。 从 门 德尔 的 植物 遗传 研究 到 现代 遗传 学 的 成 果 ， 都 说 明 



























































了 在 物种 进化 过 程 中 ， 基 因 的 组 合 与 变异 起 着 关键 作用 。 在 一 个 物种 的 茶 一 群体 中 基因 的 集 















































合 称 为 基因 池 。 生 物 组 织 是 基因 的 载体 。 如 果 环 境 变 化 ， 选 择 的 机 人 制 就 会 改变 。 这 种 变化 必 
然 引 起 基因 池 的 变化 。 特 定 种 群 的 基因 变化 称 为 基因 流 。 一 个 物种 总 是 不 断 地 经 历 隔 绝 、 基 
因 流动 、 变 化 的 循环 。 开 始 时 ， 一 组 地 理 上 隔绝 的 群体 自己 孤立 地 发 展 ， 基 因 在 内 部 快速 地 





















































流动 。 随 着 开放 ， 通 过 交流 和 竞争 ， 优 胜 劣 汰 。 
3. 经 济 模型 
























































经 济 系统 在 某 种 意义 上 类 似 于 生物 生态 系统 。 在 商品 市 场 和 理想 市 场 中 ， 进 化 决定 于 经 济 实 
体 的 决策 。 选 择机 制 是 市 场 奖励 机 制 。 进 化 是 快速 的 ， 企 业 与 消费 者 之 间 、 企 业 之 间 主 要 是 
一 种 互相 依赖 的 合作 关系 。 决 策 者 为 了 追求 长 远 利益 ， 可 以 采取 各 种 有 效 的 方法 ， 甚 至 可 以 









































暂时 做 赔本 买卖 。 





14. 6. 6 基于 对 策 论 的 协商 



































在 多 主体 系统 中 ， 协 商 的 含意 有 多 种 理解 。 一 种 认为 子 问题 和 资源 的 指派 是 协商 。 另 一 





种 则 认为 主体 之 间 一 对 一 直接 协商 。 所 有 协商 活动 的 目的 是 在 一 组 独立 工作 的 主体 间 构 建 协 
作 ， 主 体 也 有 自己 的 目标 。 协 商 协 议 提 供 可 能 的 协商 形式 的 基本 规则 、 协 商 过 程 和 通信 基础 。 












































协商 策略 取决 于 具体 的 主体 。 尽 管 主体 开发 者 可 以 提供 不 同 程度 的 协商 能 力 ， 但 是 一 定 要 保 











证 协议 与 策略 相 匹配 ， 即 选择 的 策略 要 在 可 用 的 协议 中 能 执行 。 
从 单个 主体 看 ， 协 商 的 目的 是 改善 自己 的 状态 ， 









































在 不 影响 自己 情况 下 支持 其 它 主体 ， 或 














者 对 其 它 主体 请 求 帮助 。 主 体 必 须 进行 折衷 ， 维 护 整 个 系统 的 能 力 。 在 这 种 意义 上 ， 协 商 交 














互 的 形式 可 以 分 成 倍增 长 类 : 





(1) 对 称 协作 。 协 商 产 生 的 结果 ， 对 每 个 主体 都 比 它们 原来 达到 的 好 。 其 它 主 体 对 主体 








本 身 的 影响 是 积极 的 。 











(2) 对 称 折衷 。 主 体 宁可 自己 独立 达到 它们 的 目标 。 协 商 意味 着 参加 者 之 间 的 折衷 ， 降 




















低 效果 。 但 是 不 能 忽略 其 它 主体 的 存在 ， 只 能 采取 折衷， 让 参加 者 都 能 接受 协商 的 结果 。 











(3) 非 对 称 协作 / 折 表 。 即 对 协商 的 一 个 主体 协作 的 影响 是 积极 的 ， 而 对 为 一 个 主体 必 
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须 进行 折衷。 
(4) 冲突 。 

















于 主体 的 




















14.6.7 基于 意图 的 协商 





Grosz 将 主体 的 信念 、 


























使 





] 意 图 进行 协商 ， 减 少 通 f 








TU 
FAL o 





Til 











目标 彼此 冲突 ， 不 能 达到 可 接受 的 解 。 在 得 到 结果 前 协商 必须 终 


















































愿望 、 意 图 理论 应 用 到 协商 中 [80] 。 该 方法 中 不 使 用 子规 划 ， 而 是 
BDI 理论 认为 ， 导 致 主体 理性 行为 的 既 不 是 愿望 ， 也 不 是 规 
， 处 于 愿望 与 规划 之 间 的 层次 。 实 现 意 图 的 子规 划 是 | 


Z] 











划 ， 而 是 信念 与 愿望 结合 产生 的 总 











图 产生 。 图 
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个 意 














该 意 











要 交换 意图 。 但 是 ，Grosz 方法 中 假定 主 
Zlotkin 的 工作 极 大 地 改善 了 两 个 主 
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随 着 Internet 应 用 的 逐步 深入 , 特别 是 信息 搜索 、 AT VE GE RP AS FEE FR 
人 们 越 来 越 希望 在 整个 Internet 范围 




















可 能 对 应 几 个 子规 蕊 


J. 
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主体 进行 协商 时 没有 必要 交换 各 个 子规 划 ， 只 


是 完全 合作 关系 。 














体 的 前 














态 协商 理论 。 但 是 ， 这 对 开放 的 多 主 
青 华 大 学 王学军 等 用 对 策 论 重新 定义 意图 ， 然 后 主体 通过 交换 子 意 图 进行 协商 [302] 。 





体系 统 不 








14.7 移动 主体 











内 获得 最 佳 的 





BE 
服务 , 渴望 将 整个 网 络 虚 拟 成 为 一 个 整体 ， 


使 软件 Agent 能 够 在 整个 网 络 中 自由 移动 ， 移 动 Agent. 的 概念 随即 孕育 而 生 。 


20 世纪 90 年 代 初 ，General Magic 公司 在 推出 其 商业 系统 Telescript 时 第 一 次 提出 了 移动 
了 地 从 一 
类 特殊 


和 推理 性 外 ， 


An eb 





Agent 的 概念 ， 即 


的 基本 特性 一 自治 性 、 





能 在 异 构 网 络 环境 中 自 
Agent 或 资源 交互 的 软件 实体 。 移 动 Agent 是 一 
响应 性 、 





主 ] 











主动 性 








台 主 机 自主 地 移动 到 另 一 台 
软 、 硬 件 网 络 环境 中 自由 移动 ， 
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j 户 完成 指定 
因此 这 种 新 的 计算 模式 能 有 效 地 降 
载 、 提 高 通信 效率 、 动 态 适 应 变化 了 的 网 络 环境 ， 并 具有 很 好 的 安 








a 人 











台 主 机 迁移 到 另 一 台 主 机 ， 并 可 与 其 它 
的 软件 Agent， 它 除了 具有 软件 Agent 
还 具有 移动 性 ， 即 它 可 以 在 网 络 上 从 一 
的 任务 。 由 于 移动 Agent 可 以 在 异 构 的 
氏 分 布 式 计算 中 的 网 络 负 
全 性 和 容错 能 力 。 
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移动 Agent 可 以 看 成 是 软件 Agent 技术 与 分 布 

















we 





模式 有 着 本 质 





上 的 


























式 计 算 技术 相 结 合 的 产物 ， 它 与 传统 网 络 








区 别 。 移 动 Agent 不 同 于 远 
能 够 不 断 地 从 网 络 中 的 一 个 节点 移动 到 另 一 个 节点 ， 而 且 这 种 移动 是 可 以 根据 
选择 的 。 移 动 Agent 也 不 同 于 一 般 的 进程 迁移 ， 因 
选择 什么 时 候 迁 移 以 及 迁移 到 哪里 ， 




















而 移动 Agent 








动 到 它 想 去 的 任何 地 方 。 移 动 Agent 更 不 同 于 Java 











务 器 向 客户 机 做 单方 向 的 移动 ， 而 移动 Agent 却 可 以 在 客户 
虽然 目前 不 同 移动 Agent 系统 











程 过 程 调 用 (RPC)， 这 是 因为 移动 Agent 
自身 需要 进行 
为 一 般 来 说 进程 迁移 系统 不 允许 进程 自己 
却 可 以 在 任意 时 刻 进行 移动 ， 并 且 可 以 移 
语言 中 的 Applet， 因 为 Applet 只 能 从 服 
机 和 服务 器 之 间 进 行 双向 移动 。 













































































的 体系 结构 各 不 相同 ， 但 几乎 所 有 的 移动 Agent 系统 都 包 


含 移动 Agent (简称 MA) 和 移动 Agent 服务 设施 〈 简 称 MAE) 两 个 部 分 。MAE 负责 为 MA 建立 





L 





安 I 
MA 的 约束 机 制 、 容 错 策略 、 
取 取 于 MAE 所 提供 的 服务 ， 




















e 3j 区 

e 事件 服务 
e 目录 服务 
e ”安全 服务 




















E 确 的 运行 环境 ， 为 MA 提供 最 基本 的 服务 (包括 创建 、 传 给、 执行 )， 实 施 针对 具体 
安全 控制 和 通信 机 制 等 。 











MA 的 移动 性 和 问题 求解 能 力 很 大 程度 上 








一 般 来 讲 ，MAE 至 少 应 包括 以 下 基本 服务 : 





持久 化 和 执行 环境 分 配 ; 
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1G Agent 传输 协议 和 Agent 通信 协议 ， 实 现 移 动 Agent 间 的 事件 传递 ， 
提供 移动 Agent 的 定位 信息 ， 形 成 路 由 选择 ; 
提供 安全 的 执行 环境 ; 
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0000 


e ”应 用 服务 提供 面向 特定 任务 的 服务 接 
通常 情况 下 ， 一 个 MAE 只 位 于 网 络 中 的 一 
联 的 话 ， 一 个 MAE 也 可 以 跨越 多 台 主 机 而 不 影响 
议 (Agent Transfe 
> MA 在 MAE 4 





接口 


通 
























































A 
r1 


整个 系统 的 运行 效率 。MAE 利 






































Protocol, ATP) 实现 MA 在 主机 间 的 移动 ， 并 为 


















































主机 上 ， 但 如 果 主 机 间 是 以 高 速 网 络 进行 互 
Agent 传输 协 
分 配 执行 环境 和 服务 
执行 ， 通 过 Agent 通信 语言 (Agent Communication Language, ACL) 相互 
信 并 访问 MAE 提供 的 各 种 服务 。 

在 移动 Agent 系统 的 体系 结构 中 ，MA 可 以 细 分 为 | 





JJ? Agent (User Agent, UA) 和 服务 


Agent (Server Agent, SA). UA 可 以 从 一 个 MAE 移动 到 另 一 个 MAE， 它 在 MAE 中 执行 ， 并 通 








过 ACL 与 





它 MA 通信 





实现 移动 语义 、 安 
的 MA 或 来 访 的 MA 提供 月 

















或 访问 MAE 提供 的 服务 。UA 的 主要 作用 是 完成 











AS 
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用 户 委 托 的 任 


n> mE 
务 ， 它 需要 




















制 、 与 外 界 的 通信 等 功能 。SA 不 具有 移动 能 力 ， 


No 




















































































































































































































主要 功 


有 务 ， 一 个 MAE 上 通常 驻 有 多 个 SA， 分 别提 供 不 同 的 服务 。! 


能 是 向 本 地 


用 十 
于 SA 是 




















AE IE ^ 
WIAA o 


Jp e 
恶意 Agent 对 























具体 说 


能 不 移动 的 ， 并 且 只 能 由 它 所 在 MAE 的 管理 员 启 动 和 管理 ， 这 就 保证 了 SA 不 会 是 
UA 不 能 直接 访问 系统 资源 ， 只 能 通过 SA 提供 的 接口 访问 受 控 的 资源 ， 从 而 避 
主机 的 攻击 ， 这 是 移动 Agent 系统 经 常 采 用 的 安全 策略 。 
移动 Agent 是 一 个 全 新 的 概念 ， 虽 然 目 前 还 没有 统一 的 定义 ， 但 它 至 少 
本 特征 : 
@ 刁 份 唯一 性 
移动 Agent 必须 具有 特定 的 身份 ， 能 够 代表 用 户 的 意愿 。 
e 移动 自主 性 
移动 Agent 必须 可 以 自主 地 从 一 个 节点 移动 到 另 一 个 节点 ， 这 是 移动 Agent 最 基本 
的 特征 ， 也 是 它 区 别 与 其 他 Agent 的 标志 。 
e 运行 连续 性 
移动 Agent 必须 能 够 在 不 同 的 地 址 空间 中 连续 运行 ， 即 保持 运行 的 连续 性 。 


移动 Agent 目前 已 经 从 理论 探索 进入 到 实 / 
Eie 上 移动 Agent 可 以 
等 )， 并 可 在 任何 机 器 上 运行 ， 但 考虑 到 移动 Agen 
所 以 最 好 还 是 选择 在 一 个 解释 性 的 、 独 立 于 
开发 移动 Agent 的 


和 执行 环境 。 到 





来 就 是 当 移动 Agent 转移 到 另 一 节点 上 运行 时 ， 


一 刻 的 状态 。 
































一 门 理想 



































任何 语言 编 




















在 上 一 节点 挂 起 时 习 


阶段 ， 涌 现 出 了 一 系列 较为 成 熟 的 开 
写 (hl C/C++, Java, Perl. Tcl 和 Python 
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发 平台 























t 本 身 需 要 对 不 同 的 软 便 件 环 ] 
具体 语言 的 平台 上 开发 移动 Agent. 
语言 




















BEREIT 
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Java 是 目前 




















语言 ， 因 为 经 过 编译 后 的 Java 二 进 制 代码 可 以 在 人 























解释 器 的 系统 上 运行 ， 





移动 Agen 























t 技术 虽然 已 经 研究 了 很 多 年 ， 
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UH Java 


























但 直到 1996 年 才 出 现 了 








Esk 





真 ]] 














的 移动 Agent 









































系统 ， 目 前 使 用 的 移动 Agent 系统 大 致 可 以 分 为 三 类 : 一 类 是 基于 传统 解释 语言 的 ， 一 类 是 
基于 Java 语言 的 ， 另 一 类 则 是 基于 CORBA 平台 的 。 下 面 介绍 几 个 典型 的 移动 Agent 系统 ， 它 




















们 代表 了 当今 移动 Agent. 技术 的 基本 方向 和 测 流 : 
1. General Magic 公司 的 0dysses 
作为 移动 Agent 系统 专用 语言 的 最 早 尝试 ，General Magic 公司 开发 的 Telescript 曾经 


在 过 去 的 几 年 3 
Agent 在 通信 时 可 以 采 
在 不 同 场所 运行 ，Agent 
台 出 现时 还 是 一 个 比较 成 功 
也 很 高 ，Telescriipt 中 的 三 个 基本 概念 Ca 
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AG 





























被 广泛 采 














采用 。Telescript 是 一 种 面向 对 象 
































j 两 种 方式 : 若 在 同一 场所 运行 ，Age 





nt 间 可 以 相互 调 























间 需 要 建立 连接 ， 互 相传 递 可 计算 
的 移动 Agent 开发 平 







































































ERRER: 代理 自主 移动 (agent go place). 





随 着 Java 的 迅速 
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的 解释 性 语言 ， 用 它 编写 的 移动 
彼此 的 方法 ; 
的 移动 对 象 。Telescript 在 开 
安全 性 和 健壮 性 都 比较 好 ， 执 行 效率 
gent, place 和 go) 对 移动 Agent 做 了 一 个 很 精 











, Telescript 的 优势 慢 慢 消失 , General 














Magic 公司 开始 改变 其 策略 ， 开 发 了 一 个 完全 用 Java 实现 的 移动 Agent 系统 Odyssey, Efié 


够 文 持 Java 







































































RMI, Microsoft DCOM， 以 及 CORBA IIOP. Odyssey 继承 了 Telescript 中 的 许多 
特性 ， 是 目前 被 广泛 使 用 的 一 个 移动 Agent 开发 平台 。 
2. IBM 公司 的 Aglet 
Aglet 是 最 早 基 于 Java 的 移动 Agent J 








于 发 平台 之 一 ,Aglet 的 名 字 来 源 于 Agent F Applet, 





可 以 简单 地 将 其 看 成 具有 Agent 行为 的 Applet 对 象 。Aglet 以 线程 的 形式 产生 于 一 台 机 器 ， 














需要 时 可 以 随 


尚未 完成 的 任务 。 从 概念 | 





征 时 暂停 正在 执行 的 工作 ， 并 ; 















































各 整个 Aglet 分 派 到 另 一 台 机 器 上 ， 然 后 继续 执行 
LEUR, 一 个 Aglet 就 是 一 个 移动 Java 对 象 ， 它 支持 自动 运行 的 思想 ， 




















可 以 从 一 个 基于 Aglet 的 主机 移动 到 其 它 支 持 Aglet 的 主机 上 。 
Aglet 构造 了 一 个 简单 而 全 面 的 移动 Agent 编程 框架 , 为 移动 Agent 之 间 的 通信 提供 了 动 
态 而 有 效 的 交互 机 制 ， 同 时 还 具备 一 整套 详细 而 易 用 的 安全 机 制 ， 这 一 切 使 得 移动 Agent 的 


















































开发 变 得 相对 简单 起 来 。 
3. Recursion 公司 的 Voyager 


可 以 看 成 是 一 个 增强 了 的 对 象 请 求 代理 〈ORB)， 同 其 它 移动 Agent 系统 相 比 ， 


Voyager 


Voyager 与 Java 语言 的 结合 更 加 紧密 ， 既 可 用 了 


分 布 式 系统 。 


多 主体 环境 MAGE 是 一 种 面向 主体 的 软件 
体 的 软件 开发 和 系统 集成 模式 ， 包 括 面 向 主体 
现 等 多 个 阶段 。 它 提供 了 多 种 软件 重用 模式 ， 可 以 方便 地 重 
体 软件 ; 它 还 提供 了 面向 主体 的 软件 开发 模式 ， 以 主体 为 最 小 粒度 ， 通 过 封装 和 自动 化 主体 
一 般 性 质 ， 程 序 员 可 以 通过 特殊 行为 的 添加 方便 地 实现 
件 以 及 重用 旧 的 软件 ， 应 用 程序 员 可 以 方便 地 进 各 种 应 用 集成 。 
























































Voyager 是 一 个 纯 Java 分 布 式 计算 平台 ， 可 






























































PIT ARB Agent 系统 ， 也 可 用 于 创建 传统 的 
] 来 迅速 生成 高 性 能 分 布 式 应 用 程 
序 ， 是 代表 当前 技术 水 平 的 一 个 优秀 的 移动 Agent 开发 平台 。 

















14.8 多 主体 环境 MAGE 





























发 、 集 成 和 运行 环境 , 为 用 户 提供 一 种 面向 主 
的 需求 分 析 、 系 统 设计 、 主 体 生成 以 及 系统 实 



















































































] 以 不 同 语言 编写 的 主体 或 非 主 






















































































14.8.1 MAGE 系统 框架 结构 


MAGE 系 








自己 的 应 用 ， 这样 ， 通 过 构建 新 的 软 














统 框架 结构 主要 由 三 部 分 组 成 , 包括 三 个 主要 的 





























需求 分 析 和 建 模 工具 AUMP、 

















可 视 化 主体 


系统 的 框架 乡 


发 环境 VAStudio 以 及 主体 运行 支持 环境 Agent 





吉 构 如 图 14. 24 所 示 。AUMP 














Supporting Environment。 MAGE 


支持 面向 主体 的 需求 分 析 和 设计 阶段 得 到 软件 系统 的 


模型 , VAStudio 在 AUMP 得 到 的 模型 基础 上 支持 面向 主体 的 进一步 设计 和 开发 从 而 开发 出 软件 


系统 所 需 的 3 

















E 体 ， 行 为 ， 最 后 将 这 些 主体 放 到 主体 文 持 环境 





中 运行 。 
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图 14.24 MAGE 系统 框架 结构 





14.8. 2 主体 统一 建 模 语 言 AUML 


主体 统一 建 模 语 言 (Agent Unified Modeling Language, (Hj AUML 或 Agent UML) 是 一 种 
面向 主体 的 建 模 语言 ， 主 要 作用 是 帮助 软件 设计 和 开发 人 员 对 软件 系统 进行 面向 主体 的 描述 
和 建 模 ， 描 述 软 件 开发 过 程 从 需求 分 析 直 到 实现 和 测试 的 全 过 程 。AUML 将 面向 主体 的 软件 
发 方法 和 面向 对 象 技 术 中 的 统一 建 模 语 言 (Unified Modeling Language， 简 称 UML) 结合 起 来 。 

AUMP 是 运行 于 Windows 操作 系统 上 的 多 窗口 应 用 程序 。 图 形 模型 的 设计 和 修改 全 部 通过 
可 视 化 的 方法 完成 。 







































































































































































14. 8. 3 可 视 化 主体 开发 环境 VAStudio 



































在 基于 主体 的 分 布 计算 模型 基础 上 ， 将 公共 对 象 请 求 代 理 体系 结构 CORBA 和 Internet 技 
术 结 合 起 来 ， 建立 公共 主体 请 求 代 理 体 系 结构 CARBA (Common Agent Request Broker 
Architecture)。 如 下 图 所 示 ，CABAR 主要 由 四 部 分 构成 : 软 总 线 主体 请 求 代理 ARB (Agent 
Request Broker), 、 主 体 应 用 框架 AppFacilities、 主 体 领 域 模式 AppPattern、 主 体 服务 
AgentServices。 
CARBA 是 以 主体 请 求 代理 ARB (Agent Request Broker) 为 核心 的 分 布 式 构件 管理 机 制 ， 
它 定 义 了 分 布 式 主体 通过 ARB 透明 地 发 送 请 求 和 接收 响应 的 机 制 。 主 体 应 用 框架 
AppFacilities 将 从 水 平和 垂直 方向 提供 主体 构件 。 主体 领域 模式 AppPattern 是 按照 应 用 领 
域 的 需求 ， 建 造 各 种 具体 的 、 与 领域 有 关 的 模式 或 模板 。 主 体 服务 AgentServices 提供 各 种 
所 需 的 主体 服务 ， 如 主体 生存 周期 、 主 体 库 、 命 名 、 访 问 等 。CARBA 可 以 很 好 地 实现 以 下 的 目 
的 : 
CL) 在 异 构 分 布 式 计算 环境 下 按照 功能 分 解 系统 ， 划 分 系统 框架 ; 
(2) 按照 需要 集成 各 个 功能 部 件 ， 灵 活 组 成 系统 。 
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主体 领域 模式 (AppPattern) 主体 应 用 框架 




















(AppFacilities 


[| | 















图 14. 25 CARBA 的 体系 结构 

基于 上 述 思 想 ， 我 们 开发 了 一 个 可 视 化 主体 开发 环境 VAStudio， 设 计 目 标 就 是 提供 一 个 
友好 的 集成 环境 来 文 持 主体 的 设计 和 编程 ， 不 仅 是 系统 编程 环境 ， 而 且 是 面向 主体 的 设计 与 
编程 环境 ， 根 据 主 体 模型 支持 多 种 图 形 界面 智能 引导 生成 主体 方式 。 同 时 为 软件 复 用 提供 了 
一 系列 基本 工具 ， 如 构件 库 管理 工具 、 行 为 库 、 主 体 库 、ADL 分 析 器 以 及 本 体 编辑 器 等 等 。 如 
14. 26 所 示 。 
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14.26 VAStudio 体系 结构 





14.8.4 MAGE 运行 平台 











MAGE 平台 框架 遵循 FIPA 主体 管理 规范 ， 是 FIPA 规范 的 一 个 标准 参考 实现 。 它 提供 主体 
创建 、 注 册 、 定 位 、 通 信 、 移 动 和 退出 等 服务 ， 其 体系 结构 如 图 14. 27 所 示 。 
@ 主体 管理 系统 Agent Management System (AMS): 是 主体 平台 必须 的 组 成 部 分 。AMS 
对 主体 平台 的 访问 和 使 用 提供 管理 和 控制 。 一 个 主体 平台 上 只 能 有 一 个 AMS。AMS 维 
持 主体 标识 符 的 目录 ,包含 了 注册 在 主体 平台 上 的 主体 的 传输 地 址 。AMS 给 其 他 主体 
提供 白 页 (White-Page) 服务。 每 个 主体 都 要 向 AMS 注册 ， 以 得 到 一 个 有 效 的 AID. 
e 日 录 服 务 器 Directory Facilitator (DF): 是 主体 平台 必须 的 组 成 部 分 。DF 给 其 他 
主体 提供 黄页 服务 。 主 体 可 以 在 DF 上 注册 它们 的 服务 ， 并 且 可 以 在 DF 上 查询 其 他 
主体 提供 了 什么 样 的 服务 。 一 个 主体 平台 可 以 有 多 个 DF。 
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e 消息 传输 系统 Message Transport Service (MTS): 为 两 个 不 同 主体 平台 之 间 的 通信 
提供 传输 服务 。 

© 主体 Agent: 是 主体 平台 上 基本 的 元 素 。 它 是 一 个 统一 的 、 完 整 的 执行 模块 ， 可 以 提 

供 一 项 或 多 项 服务 ， 并 且 可 以 访问 外 部 资源 、 用 户 界 面 和 通信 设施 。 每 个 主体 都 有 
主体 标识 符 CAID, Agent Identifier) 来 唯一 地 标识 。 

@ 主体 平台 Agent Platform (AP): 为 主体 提供 物理 基础 设施 。AP 包括 机 器 ， 操 作 系 
统 ， 主 体 支 撑 软 件 ， 主 体 管理 组 件 CDF, AMS, MTS) 和 主体 。 

e 软件 Software: 指 所 有 非 主体 、 可 执行 的 软件 集合 ， 通 过 主体 可 以 进行 访问 。 主 体 
可 以 访问 Software, 例如， 添加 新 的 服务 、 获 得 新 的 服务 协议 、 获 得 新 的 安全 协议 / 
算法 、 获 得 新 的 协商 协议 、 访 问 支 撑 工具 等 。 

e 主体 库 和 功能 构件 : 用 来 组 装 生成 主体 的 模板 库 。 
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主体 管理 系统 











消息 传输 系统 MTS(Message Transport System) 








图 14. 27 MAGE 主体 平台 的 体系 结构 


习 题 





简 述 分 布 式 问 题 求解 系统 的 求解 过 程 。 

简 述 智能 主体 的 概念 ， 以 及 主体 的 基本 结构 。 

什么 是 慎 思 主体 ? 什么 是 反应 主体 ? 比较 二 者 的 区 别 。 
主体 的 BDI 模型 是 什么 ， 给 出 它 的 解释 器 算法 。 
简 述 主体 间 是 如 何 通信 的 。 试 比较 主体 通信 语言 KOL 与 FIPA 的 ACL 语言 的 异同 之 处 。 
分 布 式 问题 求解 中 合同 网 协议 的 原理 是 什么 ? 

如 何 实 现 多 主体 协同 工作 ? 

解释 移动 主体 的 含义 和 基本 特征 ， 移 动 主 体 技术 与 传统 网 络 计算 模式 有 何 区 别 。 
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查阅 资料 ， 学 习 几 个 典型 的 移动 主体 系统 。 














.多 主体 环境 MAGE 由 哪儿 部 分 组 成 ”并 给 出 他 们 的 主要 功能 。 
. 主体 统一 建 模 语 言 AUML 在 哪些 方面 扩展 了 统一 建 模 语言 UML 的 功能 ? 
.请 画 出 可 视 化 主体 开发 环境 VAStudio 的 框图 ? 为 什么 他 能 有 效 地 实现 软件 复 月 
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"Bde 进化 计算 


15.1 


概述 
































进化 计算 (evolutionary computation) 是 研究 利用 自然 进化 和 适应 思想 的 计算 系统 [Yao 
2006] 。 达 尔 文 进化 论 是 一 种 稳健 的 搜索 和 优化 机 制 ， 对 计算 机 科学 ， 特 别 是 对 人 工 智 能 的 
发 展 产 生 了 很 大 的 影响 。 大 多 数 生物 体 是 通过 


了 群体 








中 哪些 个 体能 够 生存 和 繁殖 ， 有 性 生殖 


原则 是 适应 者 生存 ， 不 适应 者 被 淘汰 。 





AGB. TEA 
可 以 通过 和 
文 进化 论 





























5: 





略 的 建立 和 改进 是 不 够 的 ， 还 要 依赖 于 
研究 想法 起 源 于 遗传 进化 ，Holland dt 
一 直到 1975 年 Holland 出 版 了 那 本 颇 























期 间 ， 他 和 他 的 学 和 9 





自然 进化 的 这 些 特征 早 在 20 世纪 60 年 代 就 引起 了 美 























自然 选择 和 有 性 生殖 进行 进化 。 自 然 选择 决定 
果 证 了 后 代 基 因 中 的 混合 和 重组 。 上 自然 选择 的 









































国 Michigan 大 学 的 Holland 的 极 大 














E 们 在 从 事 如 何 建立 机 器 学 习 的 研究 。Holland 注意 到 学 习 不 仅 
个 生物 体 的 适应 实现 ， 而 且 可 以 通过 一 个 种 群 的 许多 代 的 进化 适应 发 生 。 受 达尔 
思想 的 影响 ， 他 逐渐 认识 到 在 机 器 学 习 中 ， 为 获得 一 个 好 的 学 习 算法 ， 仅 靠 单个 策 











个 包含 许多 候选 策略 的 群体 的 繁殖 。 











各 这 个 看 











考虑 到 他 们 的 
究 领 域 取 名 为 遗传 算法 (genetic algorithm). 

















影响 的 专著 “Adaptation in Natural and Artificial 
Systems" [Holland 1975] ， 遗 传 算法 才 逐 渐 为 人 所 知 。 该 书 系 统 地 论述 了 遗传 算法 的 基本 理 
论 ， 为 遗传 算法 的 发 展 黄 定 了 基础 。 同 年 ，De Jong 的 博士 论文 “An 














Analysis of the Behavior 





of a Class of Gebetic Adaptive Systems", jt Holland 的 模式 理论 与 自己 的 实验 结合 起 来 ， 


得 到 一 些 很 有 意义 的 结 

遗传 算法 思想 来 源 于 生物 进化 过 程 ， 
自然 选择 原则 的 搜索 算法 (以 字符 串 表示 状态 空间 ) 。 遗 传 算法 用 概率 搜索 过 程 在 该 状态 
中 搜索 ， 产 生 新 的 样本 。 遗 传 算法 与 






































论 和 方法 ， 对 以 后 遗传 算法 的 应 用 和 发 展 产 生 了 很 大 的 影响 。 
它 是 基于 进化 过 程 中 的 信 





息 遗 传 机 制 和 优胜 劣 汰 的 




















空间 








自然 进化 的 比较 列 于 表 15. 1。 


X 15. 1 遗传 算法 与 自然 进化 的 比较 





























Be I ep 
We Tum 
基因 字符 , 特征 
等 位 基因 (allele) f EA 
meine (locus) TERM 
基因 型 (genotype) yey 
#M (phenotype) | 参数 集 ， 译 码 结构 
人 工 遗 传 系统 的 关键 是 适应 过 程 ， 它 不 是 通过 单个 结构 的 递增 变化 ， 而 是 通过 一 个 群体 
结构 ， 通 过 遗传 操作 ， 诸 如 杂交 、 变 异 ， 产 生 新 的 结构 。 在 群体 中 每 个 结构 都 有 适应 值 ， 在 
竞争 中 用 来 决定 哪些 结构 产生 新 的 结构 。 


最 简单 的 基于 遗传 算法 的 学 习 系统 如 


























图 15. 




















1 所 示 ， 它 由 两 个 子 系统 构成 : 一 个 基于 遗传 








算法 的 学 习 子 系统 ， 它 将 使 结构 产生 适当 的 变化 ， 男 一 个 是 执行 子 系统 ， 它 使 系统 行为 得 到 


E 
Er) 
ET o 
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图 15.1 面向 执行 的 学 习 系 统 
1988 年 Mayr 提出 了 新 达尔 文 进化 理论 ， 其 主要 论点 如 下 : 
(1) 个 体 是 基本 的 选择 目标 ; 
(2) 随机 过 程 在 进化 中 起 重大 作用 ， 遗 传 变异 大 部 分 是 偶然 现象 ; 

(3) 基因 型 变异 大 部 分 是 重组 的 产物 ， 特 别 是 突变 ; 

(4) 逐渐 进化 可 能 与 表 型 不 连续 有 关 ; 

(5) 不 是 所 有 表 型 变化 都 是 自然 选择 的 必然 结果 ; 

(6) 进化 是 在 适应 中 变化 的 ， 形 式 多 样 ， 不 仅 是 基因 的 变化 ; 

(7) 选择 是 概率 型 的 ， 而 不 是 决定 型 的 。 

目前 ， 进 化 计算 主要 包括 遗传 算法 、 进 化 策略 、 进 化 程序 设计 。 下 面 分 别 进行 介绍 。 






















































































15.2 进化 系统 理论 的 形式 模型 























BEAL ZEA PRE HR VE. BL BEML (Waddington) 指出 基因 型 和 表 型 之 间 关 系 的 重要 性 
[Waddinton 1974] 。 群 体 禁 止 异 构 环 境 。 但 是 “后 成 环境 ”是 多 维 空间 。 表 型 是 基因 型 和 环 
境 的 产物 。 然 后 表 型 通过 异 构 “选择 环境 ”发 生 作 用 。 注 意 ， 这 种 多 维 选择 环境 与 后 成 环境 
空间 是 不 同 的。 现在 ， 适 应 性 是 表 型 空间 和 选择 环境 空间 的 产物 。 它 经 常 被 取 作 一 维 ， 表 示 
多 少子 孙 对 下 一 代 作出 贡献 。 

基于 这 种 想法 ， 葛 楞 贝 (Muhlenbein) 和 肯 德 曼 (Kindermann) 提出 了 一 种 称 为 进化 系统 理 
论 的 形式 模型 [Muhlenbein 1989]. K 15. 2 给 出 了 这 种 模型 的 关系 。 基 因 定 义 基因 型 空间 GS, 
表现 性 定义 表 型 空间 PS. 





























































































































GS = {g = (ai, eet 85); ai € Aij (15. 1) 
PS = (p = (po * pm)» pi € IR} (15. 2) 
其 中 ，g 是 基因 型 ，p 是 表 型 。 基 因 gi 的 可 能 值 称 为 等 位 基因 。 在 门 德尔 Mendel) 遗传 
学 中 ， 假 设 每 个 基因 有 有 限 数 的 等 位 基因 。 
ERR ne 后 生 环境 选择 环境 





| "E > DP | 








图 15.2 进化 的 主要 过 程 
假设 给 定 一 组 后 生 环 境 : 
EP = (EP 1，…，EP k} 
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和 变换 函数 
f: GS X EP — PS 
p = f(g, EP) (15. 3) 
这 个 变换 函数 给 出 了 模型 ， 说 明 表 型 的 发 展 是 通过 基因 与 环境 的 交互 作用 。 变 换 过 程 是 
高 度 非 线性 的 。 最 终 的 表 型 特性 具备 一 切 特 征 ， 而 对 于 原始 的 基因 产品 是 一 种 简单 的 一 对 一 


AUR. WR a 给 出 了 具体 选择 环境 ES; 下 表 型 的 质量 ， 其 定义 如 下 : 









































— 
































a(p, ESi,t) — IR (15. 4) 


质量 定义 适应 度 ， 用 于 达尔 文选 择 。 至 今 已 有 三 种 具体 范例 的 通用 模型 ， 即 

门 德尔 遗传 学 

遗传 生态 学 

进化 配子 

在 门 德尔 遗传 学 中 ， 基 因 型 被 详细 模型 化 ， 而 表 型 和 环境 几乎 被 忽略 。 在 遗传 生态 学 中 
恰好 相反 。 进 化 配子 论 是 从 社会 生物 学 导出 的 模型 。 

首先 让 我 们 讨论 门 德尔 遗传 学 的 选择 模型 。 为 了 简单 起 见 ， 我 们 假设 一 个 基因 具有 n 等 














































































































位 基因 a，…，an。 二 倍 基 因 型 以 元 组 (ai,ai) 为 特征 。 我 们 定义 pis 为 总 群体 中 基因 型 ai, as) 
的 频 度 。 假 设 基因 型 与 表 型 相等 。 质 量 函 数 给 每 个 表现 型 赋值 。 





























q (ai, aj) i = di, j 
其 中 qi; 可 以 被 解释 为 出 生 率 减 去 死亡 率 。 


























假设 p ii 是 下 一 代表 型 ai,ai) 的 频 度 。 然 后 达尔 文选 择 根据 选择 方程 调整 表 型 的 分 布 : 


































































































! ! di. 
Pij = Pij — (15. 5) 
J J Q 
Q-Y 4 Pij (15. 6) 
Lj 
其 中 DO 是 群体 的 平均 适应 度 。 设 pi 是 群体 中 等 位 基因 的 频率 。 如 果 设 
Dii = Pipi 
那么 ， 我 们 得 到 在 GS 中 的 一 个 选择 方程 为 : 
pi=piQ/0 (15. 7) 
QS qp. (15.8) 
j 
这 个 离散 的 选择 方程 可 以 用 连续 方程 近似 : 
dp, AA 
L = pi Qi- Q)/ (15. 9) 
dt oe 





如 果 qip —- Qii» MA 
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dp, _ 














wc Be (15. 10) 
这 个 方程 很 容易 被 证 明 : 
i = 2(E(Q) - Q^ = 2Var(Q = 0 (15. 11) 

















这 个 结果 称 作 菲 希 尔 (Fisher) 基本 定理 。 它 说 明 平 均 适 应 度 随 适应 度 的 差别 呈正 比例 增 
加 。 实 际 上 ， 全 部 可 能 的 基因 型 仅 有 一 部 分 实现 。 这 就 是 遗传 操纵 子 探索 基因 型 空间 的 任务 ， 
其 个 体 数目 相当 小 。 这 些 操纵 子 是 群体 遗传 变异 性 的 来 源 。 最 重要 的 操纵 子 是 突变 和 重组 。 
在 生态 遗传 学 中 ， 人 们 假定 显 性 是 通过 许多 基因 位 点 的 作用 而 继承 。 在 每 个 位 点 ， 两 个 
等 位 基因 分 离 ， 其 中 的 显 性 值 一 个 增加 ， 另 一 个 减少 。 

个 体 表 型 值 的 表达 式 是 : 










































































Pij = u + Gi + Ej; + (GE) i,j 






































Epo 是 显 性 的 总 平均 , Gi 是 ith 个 表 型 的 作用 , E,;， 是 基因 型 i 的 第 j 个 个 体 环 境 的 作用 。 
GE 是 基因 型 与 环境 的 交互 作用 。 

组 成 的 复杂 关系 阻止 群体 对 某 些 “最 佳 表 型 ”的 直接 存 取 。 这 种 关系 约束 选择 。 重 要 约 
束 是 没有 遗传 变异 ， 基 因 的 相互 关系 和 从 基因 型 到 表 型 的 非 线 性 变换 。 
在 进化 配子 论 中 ， 每 个 个 体能 适应 N 种 对 策 。 设 pi 是 相继 代 中 个 体 适 应 对 策 i 的 频率 ， 
E;,; 是 个 体 适应 对 策 i 抵制 对 于 适应 对 策 j 的 赢利 。 个 体 适应 对 策 i 的 品质 为 
Q, =} p,EG, j) 

J 


























































































































群体 平均 适应 度 是 
Q- > PQ: 
假定 个 体 无 性 生殖 在 数量 上 与 它们 的 适应 度 成 正比 。 这 能 够 用 熟知 的 选择 方程 : 
Q, 
Dp (15. 12) 
Q 








在 进化 配子 论 中 寻找 动力 学 吸引 子 。 这 些 吸引 子 称 作 进化 稳定 对 策 (ESS) 。 对 于 pips 7 








0，ESS 的 特征 是 Qi = Qi。 


15.3 达尔 文 进化 算法 

















根据 定量 遗传 学 ， 达 尔 文 进化 算法 采用 简单 的 突变 /选择 动力 学 。 达 和 尔 文 算法 的 一 般 形式 
































(u/p, X». (n/p +A) (15. 13) 
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D 是 一 代 的 双亲 数目 ， 和 为 子孙 数目 。 整 数 p 称 作 “混杂 ” 数 。 如 果 两 个 双亲 混合 他 们 的 
AED], We = 2。 仅 nx 是 最 好 的 个 体 才 允许 产生 子孙 。 吉 号 表示 双亲 们 没有 选择 ， 加 号 表 















































算法 的 重要 部 分 是 突变 的 范围 不 固定 ， 而 是 继承 。 它 将 通过 进化 过 程 自己 适应 。 达 尔 文 
进化 算法 如 下 : 
算法 15.1 达尔 文 进化 算法 。 
(1) 建立 原始 种 体 。 
(2) 通过 突变 建立 子孙 。 



































? 
S1-— Sg 


x, ,=xt Sali 
LI 


, 
S à = 58 


ES RS ,ZX 
(3) 选择 : 
Q(x) = max {Q(x )} 
(4) 返回 到 步骤 (1) 。 
在 达尔 文 算法 中 ， 随 机 向 量 Zi 一 般 有 分 布 的 分 量 ，gis 是 从 分 布 数 的 规范 对 数 得 到 的 。 


所 以 算法 在 近邻 的 双 末 建立 入 子孙。 通过 进化 继承 和 适应 近邻 的 性 质 。 模 型 可 以 被 扩展 到 
Zn 个 基因 ， 而 个 体 突变 的 范围 被 控制 在 n- 维 空间 。 


































































































15.4 分 类 器 系统 























Holland 和 他 的 同事 提出 了 一 种 分 类 器 系统 的 认 知 模型 ， 其 中 的 规则 不 是 规则 集 ， 而 是 遗 
传 算法 操纵 的 内 部 实体 。 图 15. 3 给 出 了 分 类 器 系统 的 一 般 结构 ， 从 分 类 器 系统 看 学 习 ， 它 
三 层 动作 构成 ， 即 执行 子 系统 、 信 用 赋值 子 系统 和 发 现 子 系统 。 
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| 进 传 算 法 | 


f& ont t 
消息 来 自 





[ie] 
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输出 接口 
CESLA 
支付 


























来 自 内 部 监控 器 的 消息 

















[目标 ) 




















图 15. 3 分 类 器 系统 的 一 般 结 构 


执行 子 系统 处 在 最 低层 ， 直 接 与 环境 进行 交互 。 它 与 专家 系统 相同 ， 由 产生 式 规则 构成 。 
但 是 ， 它 们 是 消息 传送 ， 高 度 平行 。 这 类 规则 称 作 分 类 器 
些 规则 的 有 效 性 ， 这 些 》 





桶 链 算 法 。 











FI 


E 





取 























分 类 器 系统 中 的 学 习 ， 要 求 环境 提供 反馈 ， 确 认 所 希望 的 状态 是 否 达到 。 系 统 将 评价 这 
动 常常 称 作 信 用 赋值 。 有 些 特 定 算法 专门 用 来 实现 信和 月 








HR. PAD, 





























记录 ， 





Po Ae SN 


后 一 层 是 发 现 子 系统 ， 该 系统 必须 产生 新 的 规则 ， 取 代 当 前 用 处 不 大 的 规则 。 通 过 系 
统 累 积 的 经 验 产 生 规 则 。 系 统 根 据 适应 值 ， 使 用 遗传 算法 选择 、 重 引 





字符 采 月 











分 类 器 系统 是 平行 执行 、 消 息 传 递 和 基于 规则 的 系统 。 在 简 和 
的 字母 ， 全 部 为 固定 长 度 。 全 部 规则 采用 条 从 
个 动作 规定 当 条 们 


和 取代 规则 。 





的 方案 中 ， 消 息 采 月 

F/ 动 作 形 式 。 每 个 条 件 规 定 必须 满足 的 信息 ， 每 

F 满 足 时 所 发 送 的 消息 。 为 了 方便 ， 假 设 消息 采用 长 度 为 1 的 二 进 制 字符 

11…1# 规定 两 个 消息 构成 的 子 集 ， 即 {11…11，11…10} 。 更 一 般 化 形式 为 : 
X | 




















HE 
HT, 0,8. FIFRE 表示 无 所 谓 ， 既 可 为 1, teal 0. Pan, FIF 
és, S25 








1 个 字符 规定 的 子 集 ， 设 




































































*, Sj °"; Sp. Sj € (4, 0, üj 
<m, M2; ***, Mj; -*** mp. mj € (1, 0] 
A; 位 消息 ， 消 息 属 于 下 列子 集 : 
(1) If s;=1 ors; = 0, then m= s; 
(2) If s; = #, then m; can be either 1 or 0. 
满足 要 求 的 全 部 消息 构成 子 集 ， 即 每 个 子 集 是 在 消息 空间 的 一 个 超 平 面 。 分 类 器 系统 是 
由 一 组 分 类 器 {Ci， C2, MJ Cy} 、 一 个 消息 表 、 输入 接口 、 输出 接 口 构 成 。 图 15.4 给 出 了 分 类 
器 系统 的 基本 结构 。 每 部 分 的 主要 功能 如 下 : 
(1) 输入 接口 将 当前 环境 状态 翻译 成 标准 消息 。 
(2) 分 类 器 根据 规划， 规定 系统 处 理 消息 的 过 程 。 
(3) 消息 表 包 含 当 前 全 部 消息 。 





(4) 输出 接口 将 结果 消息 翻译 成 效应 器 动作 ， 修 改 环境 状态 。 
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来 自 环境 
n. 4s Bet MR 
b. gps EBUNR 

















分 类 器 基本 执行 循环 如 下 : 














算法 15.2 分 类 器 基本 算法 。 
(1) 将 输入 接口 全 部 消息 放 入 消息 表 。 














(2) 将 消息 表 中 的 全 部 消息 与 全 部 分 类 器 所 有 条 伯 
(3) 满足 分 类 器 条 件 部 分 的 每 组 匹配 ， 将 
(4) 用 新 的 消息 表 取 代 消 息 表 中 的 全 部 消息 。 








(5) 将 消息 表 中 的 消息 翻 i 
(6) 返回 到 步 又 (1)。 





为 了 说 明 分 类 器 的 交互 作用 和 基于 规 由 
统 ， 如 图 15. 5 所 示 。 对 视野 内 的 每 个 对 象 输 
各 种 性 能 。 检 测 器 和 它们 产生 的 值 将 按 实际 需要 定 


























Ead 





BPA 


图 15.4 分 类 器 系统 的 基本 结构 





比较 ， 记 录 所 有 匹配 。 
分 所 规定 的 消息 送 到 新 的 消息 表 。 














对 成 输出 接口 的 要 求 ， 产 生 系统 当前 的 输出 。 
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a, Ain een A rot 





式 地 旋转 (V-LEFT 或 V-RIGHT, 





学习 的 影响 ， 这 里 介绍 一 个 简单 的 视觉 分 类 器 系 
i 入 接口 产生 消息 。 组 检测 器 产生 消息 ， 插 入 到 
X. KE 
定位。 视觉 向 量 可 以 按时 间 步 递增 

















EE 有 三 类 效应 器 ， 决 定 在 环境 中 的 





























每 次 15 度 ) 。 系 统 也 有 运动 向 量 ， 表 示 它 的 运动 方向 ， 经 常 














视觉 方向 是 独立 的 。 第 二 个 向 量 控 制 运动 向 量 的 旋转 (M-LEFT 或 M-RIGHT) 。 第 二 效应 器 也 可 
以 将 运动 向 量 与 视觉 向 量 对 齐 ， 或 者 处 于 相反 方向 (ALIGN 和 OPPOSE) 。 第 三 个 效应 器 在 规定 











方向 设置 运动 速率 (FAST，CRUISE，SLOW，STOP) 。 

















分 类 器 处 理 检测 器 产生 的 信息 ， 提 供 效应 











器 命令 序列 ， 使 系统 到 达 目 标 。 检 测 器 规定 输入 接口 消息 最 右边 的 6 位 ( 见 图 15.5). 。 性 质 检 








测 器 规定 的 值 如 下 所 示 : 
PN P 如 果 移 动 对象 
do we 
(0.0). 如果 对 和 象 在 视野 的 中 间 
(da,ds) = 4 (1.0). 如 果 对 象 在 中 心 的 左边 
(0.1). ”如果 对 象 在 中 心 的 右边 
oe jEr 如 果 系 统 是 对 象 的 近邻 
"qe Xt 
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Lo] ho 如 果 对 象 很 大 
" ü. KE 


人 1 如 果 对 象 是 多 长 的 
S 0， 其 它 











图 15.5 简单 的 视觉 分 类 器 系统 } 
考虑 一 个 刺激 -一 反应 分 类 器 ， 具 有 如 下 规则 : 
IF = WRA “捕食 (prey)” (small, moving, nonstriped object), 
处 于 视野 中 间 (centered) ， 非 邻近 (nonadjacent) ， 
THEN 迅速 移 向 对 和 象 (ALIGN), (FAST). 

















为 了 实现 这 条 规则 ， 作 为 分 类 器 以 检测 值 作 为 条 件 ， 其 它 采 用 # s。 两 位 (0，0) 标签 表 
示 输 入 接口 产生 的 消息 。 按 照 上 述 定义 ， 分 类 器 有 下 列 条 件 : 




































































OOHHHHHHHHO00001, 
其 中 最 左边 两 位 是 标签 ，# 位 表示 无 关 ， 最 右边 6 位 是 规定 的 检测 器 值 。 当 这 个 条 件 满足 时 ， 
分 类 器 送出 消息 如 下 : 

0100000000000000, 




















其 中 前 级 Ol 表示 该 消息 不 是 来 自 输入 接口 。 这 个 消息 可 以 直接 用 来 设置 输出 接口 的 效应 器 
条 件 ， 整 个 规则 如 下 : 

OOHHHHHHHHHO00001 / 0100000000000000, ALIGN, FAST. 
在 一 种 警报 系统 中 ， 下 面 的 规则 可 以 用 来 决定 系统 是 否 处 于 警报 状态 : 















































IF 在 视野 内 有 一 个 移动 对 象 ， 

THEN 设置 警报 定时 器 和 发 出 一 个 警报 消息 . 

IF 警报 定时 器 不 是 零 ， 

THEN 发 出 一 个 警报 消息 . 

IF 在 视野 内 没有 移动 对 象 和 警报 定时 器 不 为 零 ，timer is not zero, 
THEN 取 销 警报 定时 器 . 


为 了 将 这 些 规 则 变 成 分 类 器 ， 可 以 采用 两 种 效应 器 ， 即 SET ALERT 和 DECREMENT ALERT, LJ 
及 一 个 检测 器 


w={ if 警报 定时 器 不 为 零 
0, 其 它 

分 类 器 实现 三 种 规则 ， 形 式 如 下 : 

OOHHHHHHHHHHHHH / 0100000000000011, SET ALERT 

OOHHHHHIHHHHHHHH / 0100000000000011 

OOHHHHHIHHHHHHHO —/DECREMENT ALERT. 

分 类 器 系统 可 以 表示 网 络 。 最 直接 的 方法 是 对 网 络 中 的 每 个 点 (向量 ) 采用 一 个 分 类 ， 图 
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15.6 给 出 了 一 种 网 络 图 。 当 在 视野 内 出 现 一 个 MOVING 对 象 ， 那 就 得 到 ALERT 结 点 标识 。 当 三 
个 结 点 ALERT，SMALL， 和 NOT STRIPED 有 标识 时 ，TARGET 结 点 才 有 标识 。 为 了 把 这 种 网 络 
变换 成 一 组 分 类 器 ， 可 以 对 每 个 结 点 一 个 辨识 标签 。 图 中 采用 5 位 前 级 作为 标签 。 














ad, =1 1; — 0 da — 0 hnzü din = 1 
[MOVING[SMALL] INOT sTRIPEDyEAn] [FAR] 
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ODER TT rd 


optar - e ifie, 
x N 





\ b * s Ls 
ala 11010 1101111100 
[PÜRSUERPPROACH]  |FLEHFREEZE] 


图 15.6 网 络 图 

从 图 15.6 可 知 ， 假 设 MOVING 结 点 被 检测 器 d_1 标识 ， 则 MOVING 和 ALERT 之 间 的 箭头 可 
以 通过 如 下 分 类 器 实现 : 

OOHHHHHHHHHHHHH / OLOOLHHHHHHHHHHH, 

而 从 SMALL, NOT STRIPED, and ALERT 到 TARGET 的 箭头 可 以 用 单个 分 类 器 实现 : 

OOHHHHHHHHOOHHHH, OLOOLHHHHHHHHHHH / 

LOOOLHBHHRHHAHHE. 

网 络 中 其 它 部 分 可 以 用 类 似 方法 实现 。 




















15.5 桶 链 算法 














分 类 器 系统 是 高 度 并 行 的 基于 规则 的 学 习 系 统 ， 它 能 连续 地 建造 和 改善 它 所 在 环境 的 模 
型 ， 这 样 的 环境 是 在 已 有 的 经 验 的 基础 上 建立 的 。 而 分 类 器 系统 的 基本 单元 由 消息 和 分 类 器 
(规则 ) 构成 ， 形 式 上 很 简单 。 但 这 两 个 单元 和 缺 省 的 分 类 器 的 组 合 可 产生 任意 复杂 的 知识 
结构 。 

分 类 器 系统 使 用 两 个 学 习 机 制 

(1) 桶 链 (bucket brigade) 算法 。 基 于 对 系统 的 贡献 ， 对 现 有 规则 分 配 一 个 信用 值 。 

(2) 规则 发 现 算法 。 这 包括 遗传 算法 ， 该 算法 可 产生 新 规则 ， 用 于 改善 系统 的 知识 库 。 

因为 强度 也 由 分 类 器 系统 的 执行 部 分 所 使 用 ， 以 便 选 择 规则 来 控制 系统 的 行为 ， 由 规则 
发 现 系统 来 控制 长 期 ， 由 桶 链 算法 来 分 配 它 的 强度 。 

根据 分 类 器 在 系统 达到 目标 方面 整个 效用 性 ， 桶 链 算 法 赋 给 它 信用 值 。 通 过 修改 执行 周 
期 ， 算 法 工作 引入 分 类 器 竞争 。 在 工作 周期 里 ， 每 个 分 类 器 扫描 全 局 消息 表 中 的 所 有 消息 。 
满足 条 件 的 每 个 消息 产生 新 的 消息 。 修 改 这 个 过 程 ， 满 足 的 分 类 器 必须 通过 竞争 从 消息 表 中 
得 到 消息 。 每 个 分 类 器 根据 强度 进行 投标 ， 上 只 有 投标 高 的 分 类 器 才能 从 表 中 得 到 消息 。 投 标 
规模 不 仅 取 决 于 分 类 器 的 强度 ， 也 与 它 的 特性 有 关 。 有 具体 说 ， 分 类 器 投标 与 强度 和 特性 的 乘 
积 成 正比 。 当 分 类 器 C 的 条 件 部 分 被 满足 ， 投 标的 形式 表达 式 为 : 

Bid(C，t) = cR(C)S(C, t) (15. 14) 
其 中 RO 是 特性 ， 等 于 C 中 条 件 部 分 的 非 # 的 数目 除 以 长 度 。S(C，t) 是 C 在 时 间 t 的 强 
FE, c 是 一 个 小 于 1 的 常数 ， 例 如 1/8 或 1/16. 
获胜 的 投标 者 把 消息 放 到 消息 表 中 ， 同 时 它们 的 强度 减少 投标 量 。 例 如 对 分 类 器 C: 
S(C, t+1) = S(C, t) = B(C, t) (15. 15) 













































































` 





















































































































































































































































420 


ww ai bbt. com [] BD DL DD D 


而 被 获胜 者 送 去 消息 匹配 的 分 类 器 {C } 将 提高 它们 的 强度 ， 其 值 为 投标 的 量 : 


S(C, ttl) = 
其 中 ，a = 1/({C } 成员 数 ) 。 
图 15.7 给 出 了 投标 的 两 个 目 























S(C , t) + aBid(C, t) (15. 16) 











的 。 支 持 服 务 ， 投 标 随 消 息 流 移动 ， 增 加 对 那些 消息 的 用 户 





的 支持 ; 同样 投标 用 来 修改 供给 者 的 强度 ， 与 消息 流 相反 ， 进 行 反 馈 。 


BC 一 人 | 








B(C.,t3 

3(C5, t} + 

B(C5.3—— —]1-9- 
1 








| V(CE+ 1) = B(C), £) + B(C2, £) + B(Cs,t) 





= 


在 时 间 E 对 分 类 器 C ixi 


对 在 上 一 1 在 时 他 
必用 的 分 类 医 满足 C 送 去 消息 的 
投标 分 类 器 





图 


15.7 投标 改变 分 类 器 的 强度 











假如 系统 的 学 习 和 稳定 性 可 获得 ， 并 保持 在 可 接受 的 水 平 ， 则 可 以 减少 规则 强度 的 分 散 。 
假如 不 能 控制 分 散 ， 由 规则 发 现 作 用 于 系统 则 会 使 系统 采用 强度 高 的 规则 ， 而 使 有 用 的 、 强 
度 低 的 规则 遗失 掉 。 改 变 投标 竞争 和 消息 产生 机 制 ， 有 些 改变 要 求 控制 个 体 的 “寄生 ”规则 ， 
而 另 一 些 改变 要 求 能 保证 有 效 地 使 用 规模 有 限 的 消息 表 。 

































































15.6 遗传 算法 





Holland 抽象 地 分 析 了 自然 系统 的 自 适 应 过 程 ， 并 设计 出 含有 自然 系统 的 自 适 应 特征 的 

















人 工 系 统 。 他 将 自 适 应 过 程 刻画 为 在 变化 的 结构 空间 中 的 搜索 过 程 ， 指 出 : 许多 复杂 结构 











可 以 用 简单 的 位 串 形式 编码 表示 ; 
之 向 希望 的 方向 转变 。 并 以 这 些 思想 为 基础 设计 了 遗传 算法 来 实现 结构 的 进化 过 程 。 









































包 可 以 通过 一 些 简 单 的 变换 来 逐步 改进 这 些 位 串 结构 ， 使 









































遗传 算法 先 将 搜索 结构 编码 为 字符 串 形 式 ， 每 个 字符 串 结 构 被 称 为 个 体 。 然 后 对 一 组 字 
符 串 结 构 (被 称 为 一 个 群体 ) 进行 循环 操作 。 每 次 循环 被 称 作 一 代 ， 包 括 一 个 保存 字符 串 中 较 

















优 结 构 的 过 程 和 一 个 有 结构 的 、 随 机 的 字符 串 间 的 信息 交换 过 程 。 类 似 于 自然 进化 ， 遗 传 算 
法 通过 作用 于 染色 体 上 的 基因 寻找 好 的 染色 体 来 求解 问题 。 与 自然 界 相 似 ， 遗 传 算法 对 求解 
问题 的 本 身 一 无 所 知 ， 它 所 需要 的 仅 是 对 算法 所 产生 的 每 个 染色 体 进 行 评 价 ， 并 基于 适应 值 
色 体 有 更 多 的 繁殖 机 会 。 在 遗传 算法 中 ， 位 字符 串 扮演 染色 











来 选择 染色 体 ， 使 适应 性 好 的 染 ; 
















































































体 的 作用 ， 单 个 位 扮演 了 基因 的 








作用， 随机 产生 一 个 体 字 符 串 的 初始 群体 ， 每 个 个 体 给 予 一 





个 数值 评价 ， 称 为 适应 度 ， 取 消 低 适应 度 的 个 体 ， 选 择 高 适应 度 的 个 体 参 加 操作 。 常 用 的 遗 
传 算 子 有 复制 、 杂 交 、 变 异 和 反 转 。 
与 传统 的 优化 算法 相 比 ， 遗 传 算 法 主要 有 以 下 几 个 不 同 之 处 : 





























(0) 遗传 算法 不 是 直接 作用 在 参 变量 集 上 ， 而 是 利用 参 变 量 集 的 某 种 编码 ; 

















(2) 遗传 算法 不 是 从 单个 点 ， 








而 是 在 群体 中 从 一 个 点 开始 搜索 ; 











(3) 遗传 算法 利用 适应 值 信息 ， 无 需 导数 或 其 它 辅助 信息 ; 





(4) 遗传 算法 利用 概率 转移 规则 ， 而 非 确定 性 规则 。 

















遗传 算法 利用 简单 的 编码 技术 和 繁殖 机 制 来 表现 复杂 的 现象 ， 从 而 解决 非常 困难 的 问题 。 
特别 是 由 于 它 不 受 搜索 空间 的 限制 性 假设 的 约束 ， 不 必要 求 诸如 连续 性 、 导 数 存在 和 单 峰 等 
假设 ， 它 能 从 离散 的 、 多 极 值 的 、 含 有 噪音 的 高 维 问题 中 以 很 大 的 概率 找到 全 局 最 优 解 ， 其 
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TE 





Ud 











ETATE, e SAE 
机 器 学 习 和 并 行 处 到 








15. 6. 1 遗传 算法 的 主要 步骤 

















等 领域 得 到 了 越 来 越 广泛 的 应 用 。 


说 
iN 























适用 于 大 规模 并 行 计算 。 遗 传 算法 目前 已 经 在 优化 、 


























为 了 使 








j 遗 传 算法 来 解决 问题 ， 








(1) 确 
(2) 确 
(3) 确 
(4) 确 
在 常规 
符 串 。 






































复制 概率 Dr、 


旦 这 些 ? 





(1) 
(2) 


Y 
® 
E 
e 


(3) 


定 
定 适应 值 的 度量 ; 
症 该 算法 的 参数 和 变量 ; 

指定 结果 及 程序 运行 结束 的 标准 。 
FPF， 表示 方案 是 把 问题 的 搜索 空 


定 控 
EER 
的 遗传 算法 
表示 方案 的 确定 


身 所 具有 的 。 控 和 


ts 
对 本 


表示 方案 ; 





if 





E LEAS AAP DU 












































Bee 


杂交 





概率 pc、 变 


八 备 步骤 完成 后 ， 就 可 以 使 朋 
算法 15.3 基本 的 遗传 算法 。 
固定 长 度 
HA, XEPUBJUT FRPR, ELBUDEREENTEBG E IE: 
(D 计 算 群 体 中 的 每 个 个 体 





"a 


reo ^r 


FER 








个 | 


T 


















































j 下 述 三 种 操作 
Pr 

















需要 选择 串 长 1 和 字母 表 规模 k， 二 进 制 位 串 是 遗传 算法 中 
方法 。 适 应 值 度量 为 群体 中 每 个 可 能 的 确定 长 度 的 特 生 
TEN ERB BCH F 


il: 把 现 有 的 个 体 字 


s 间 中 的 每 个 可 能 的 点 表示 为 固定 长 度 
用 的 表 
它 经 常 是 问题 


数 M， 次 要 参数 有 

















ni 
iN 
































F 串 指定 一 个 适应 值 ， 
体 规模 N 和 算法 执行 的 最 大 代 
异 概率 pn 等 参数 。 有 关 停 止 执行 的 标准 要 视 
遗传 算法 。 





























L(A ja) UT KE. — 



































Po Id 


FATA 





组 成 的 初始 群体 ; 























Po Ay g 


字符 
至 少 前 两 


的 适应 值 ; 
种 ) 来 产生 新 的 群体 : 


符 串 复制 到 新 的 群体 中 。 




















杂交 : 通过 遗传 习 


变异 : 将 现 有 字符 串 
把 在 后 代 中 上 





上 现 的 最 


可 以 是 问题 的 解 (或 近似 解 ) 。 


基本 的 遗传 算法 流程 图 如 图 
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组 随机 选择 两 个 现 有 的 子 字符 串 ， 产 生 新 的 字符 串 。 
P 某 一 位 的 字符 随机 变异 。 
高 适应 值 的 个 体 字符 串 指 定 为 遗传 算法 运行 的 结果 。 这 一 结果 
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NES 











15. 8 所 示 








PAR ft GEN 是 当前 进化 代数 。 


ww ai bbt. com GOOO0000 

















15. 6. 2 表示 模式 





BUR AUS Hof SPATE 








[vcri 638 






pred 
nA xim 


| p(c) 杂交 变异 p(m) 


t 











图 15.8 基本 遗传 算法 的 流程 图 





在 遗传 算法 中 ， 可 以 考虑 由 三 元 字母 表 V = {0，1， 交 表示 的 模式 。 所 谓 模 式 就 是 一 个 
相同 的 构 形 ， 它 描述 的 是 一 个 串 的 子 集 ， 这 个 集合 中 的 串 之 间 在 某 些 位 上 相同 。 符 号 “#?” 代 





表 不 确定 字母 ， 即 在 一 特定 位 置 上 与 0 或 1 均 匹 配 。 例 如 ,考虑 串 长 为 7 的 模式 H = 1 DOr, 
E A TET] 


WWE A = 0111000 是 模式 了 


的 一 个 表 式 ， 





定义 在 串 长 为 1 RR SES 
个 模式 。 一 个 模式 H 的 阶 就 是 出 现在 模式 中 确 























角 定 位 置 2、3 和 5 上 相 匹 配 。 














I 串 上 共有 3 个 模式 。 一 般 对 于 基数 为 k 的 字母 表 ， 共 有 (k+1)" 

















定位 置 的 数目 ， 记 为 o( 。 在 二 进 制 串 中 ， 一 


个 模式 的 阶 就 是 所 有 1 或 0 的 数目 。 例 如 ， 模 式 011*1*x* 的 阶 为 4， 可 记 为 o(011*1l%*) = 4. 


模式 Deere GTA 1。 























一 个 模式 的 定义 长 度 是 模式 中 第 一 个 确定 位 置 与 最 后 一 个 确定 位 置 之 间 的 距离 ， 记 为 
delta(H). (ili, Bish 011x*1** 的 定义 长 度 为 delta = 4， 这 是 因为 第 一 个 确定 位 置 为 1， 最 
后 一 个 确定 位 置 为 5， 它 们 之 间 的 距离 delta(H)= 5 - 1 = 4. 

假设 时 刻 t， 一 个 特定 的 模式 HH 有 MM 个 代表 串 包含 在 群体 B(t) 中 ， 记 为 M = M(H, t). 


在 复制 阶段 ， 每 个 串 根 据 它 的 适应 值 进行 复制 ， 












































NEB Bi 的 复制 概率 为 


(15. 17) 
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RAAB EBA n SB EEA CELA BCO Je, RAWEA TA) (c + 1) ， 模 式 了 在 群体 
BOH) PAM, ttl) Mid, iT Phi feed: 


TE (15. 18) 
2 


FEAR £ OD AE TEIN TH] 《表示 模式 再 的 串 的 平均 适应 值 。 由 于 整个 群体 的 平均 适应 值 可 记 成 
























































M(H, t+1) = MH, t)* n 









































75. (15. 19) 
ja f" 
故 模式 的 复制 生长 方程 可 表示 为 
M(H, t+1) = M(H, t) mn (15. 20) 


























这 表明 ， 一 个 特定 的 模式 按照 其 平均 适应 值 与 群体 的 平均 适应 值 之 间 的 比率 生长 。 换 名 
话说 ， 那 些 适 应 值 高 于 群体 平均 适应 值 的 模式 在 下 一 代 中 将 会 有 更 多 的 代表 串 ， 而 对 于 那些 
适应 值 在 群体 平均 值 以 下 的 模式 ， 它 们 的 下 一 代 中 的 字符 串 将 会 减少 。 假 设 模式 H 的 适应 值 


保持 在 高 出 群体 平均 适应 值 以 上 一 个 e f. c 为 一 常数 ， 则 模式 的 生长 方程 可 变 为 



























































pef 


M(H, t+1) = MŒ, t) 7 = (1*c) * M(H, t) (15. 21) 











Mt = 0 开始， 假设 c 是 一 个 固定 值 ， 可 以 推 得 





m(H, t = mH，0) 。 (B9 (15. 22) 


(15. 22) 式 表 明 ， 在 群体 平均 适应 值 以 上 的 模式 将 会 按 指 数 增长 的 方式 被 复制 ， 相 反 ， 在 
群体 平均 适应 值 以 下 的 模式 将 会 按 指数 衰减 的 方式 被 复制 。 

















15. 6. 3 杂交 操作 








杂交 操作 是 个 有 结构 、 随 机 的 字符 串 间 信 息 交 换 过 程 。 假 设 群体 B(t) 是 模式 库 。 历 史 信 
息 以 每 个 模式 实例 数目 的 形式 存储 于 BOO 中 。 杂 交 作 用 产生 模式 库 中 已 有 模式 的 新 的 实例 ， 
同时 也 产生 新 的 模式 。 简 单 的 杂交 操作 分 为 三 步 : 

(1) 从 当前 群体 B(t) 中 选择 两 个 结构 : a = sse sp a = S'us vet os 

(2) 随机 选择 一 个 整数 x € {1，2，… r1 

(3) 交换 a 和 a 中 位 置 x 左边 的 元 素 ， 产 生 两 个 新 的 结构 :si… sis’ av s se 
S Sx??? SI 

如 果 给 每 个 字符 串 赋 以 强度 S(C;，T) ， 那 么 ， 遗 传 算法 如 下 所 示 : 

算法 15. 4 具有 强度 的 遗传 算法 。 

(1) Æ t =0 时 随机 产生 M 字 符 串 的 群体 B(t) 。 计 算 群 体 B(t) 中 字符 串 的 平均 强度 
v(t)， 给 群体 B(t) 中 的 每 个 字符 串 赋 以 规范 值 S(C;，t) /v(t)。 

(2) 对 群体 B(t) 中 的 每 个 字符 串 赋 与 一 个 概率 值 ， 其 值 与 规范 值 成 正比 。 然 后 ， 使 用 概 
率 分 布 ， 从 B(t) 中 选择 n 对 字符 串 ，n<<M ， 并 且 将 它们 复制 。 
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(3) 对 每 对 复制 字符 串 进行 杂交 操作 ， 形 成 2n 个 新 的 字符 串 。 
(4) 用 步骤 (3) 中 生成 的 2n 个 新 的 字符 串 取 代 群 体 B(t) 中 2n 个 强度 最 低 的 字符 串 。 
(5) 时 间 t 变 为 t + 1， 返 回 步骤 (1) 。 

为 了 说 明 上 述 算法 的 操作 ， 让 我 们 看 一 个 图 15. 9 所 示 的 简 


























单 例子 。 该 例子 中 有 如 下 8 个 





样本 : 
Cı 111011101-::—1 
Co 110011110----0 
Cz 000111110----2 
Cy 011010011----0 
C5 100011101----—2 
Cs 011001100----2 
C; 100100101- 0 
Ce 100010010-:-::—1 








其 中 ， 左 箭头 的 右边 值 是 群体 BO) 中 每 个 字符 串 Ci 的 强度 。 样 本 Cor Ca, Co 是 模式 


k kOe MAR, PRE Hie PER Css Css Cs 是 模式 *00*1x**…* 的 例 示 ， 称 作 Heo XIE 
个 模式 计算 平均 强度 : 








这 样 ， 我 们 给 每 个 字符 串 Ci 赋 与 规范 值 SQ) /v (D 。 根 据 规范 值 赋 给 每 个 字符 串 一 个 概 


率 。 按 照 概 率 分 布 选择 3 对 字符 串 进 行 杂交 。 人 字符 串 的 位 置 是 随机 选择 的 ， 要 进行 杂交 的 字 
符 串 交换 其 该 位 置 的 左 部 。 这 种 简单 的 操作 产生 微妙 的 影响 。 图 15. 9 给 出 了 对 模式 的 整个 影 
Wi. ÆR 15. 9 中 Cs，C3，Gs 是 模式 ####skxlx# 的 例 示 。 该 模式 的 平均 强度 如 下 : 


y Gekk] kH) = 一 :一 = 1.33 










































































Cs, Cs, Cs 是 模式 OOk 的 例 示 ， 平 均 强 度 如 下 : 
2+2+1 

















v CKO Ose) = =a = 1.67 
C, v(C,.£) Pt. of interchange Cy 
| Parents] |No. Offspring] [Crosscver| |Ofispring| 

LLLO #0 - 1 E -[ 6 )]— 11103441 Lj 
Fá ssi Bon 

Lig 113: 一 一 :0] P 0001 3:2 HOY 

D001 441144 2} 4 800139113 

010441000 — 0] _ —"7 1:004: 4 4 4 

HOO HHL —f2 kc : 0043 4E 311 
im a 

03/0142 4:103 gn be 704014 4105 


#24 100100 ——4n] Rs c 3x05 30111 
100340111 ——^i] 一 ' lur 44013. 3:105 
图 15.9 遗传 算法 操作 |} 
在 遗传 算法 中 只 使 用 简单 的 杂交 操作 ， 那 么 B(t) 中 所 表示 的 每 个 模式 H 在 群体 中 所 占 的 
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平均 比例 ， 经 过 一 代 后 则 从 PH，t 变 为 
P(H， t*1) 2 (1- p, 


A apa, yy £052 


























P(H, t) (15. 23) 
HB z 3 MEAS ZUZx hR soe SI HEA ó(H) E 
RUP p FE TAREE ARP ETT ARC PR TP UR RT PHERI, E £01, 0) 2 [077 71 f (2, 
H 的 实例 数 就 增加 。 
15. 6. 4 变异 操作 


对 于 群体 B(t) 中 的 每 个 个 体 a 
(1) 每 个 位 置 的 字符 变 引 
变异 的 位 


p 























= S1S2'*'Sp 























简单 的 变异 操作 过 程 如 下 : 

时 都 有 一 个 变异 概率 ， 各 位 置 互相 独立 。 通 过 随机 过 程 选择 发 生 
Xu X2，“。…， Re 
(2) 产生 一 个 新 结构 a =s1*… 
的 字符 变量 的 值 


SxS? xlS x1+1°°°S "EL x2S x24* ** Sp, 
成 中 随机 选择 的 一 个 取 值 。s’ ;， 










































































中 Su 是 从 对 应 位 置 x 
.，sS x 可 以 同样 得 到 。 

如 果 每 个 位 置 的 变异 概率 小 于 等 于 po J 
的 概率 是 





BAER H， 设 阶 为 o(H) ， 发 生 一 次 或 多 次 变异 
o(H) 
1- (1-py) e o (H) pa; 


(pm << 1/D 
15.6.5 反 转 操作 


(15. 24) 
简单 反 转 操作 的 步骤 如 下 : 


(1) 从 当前 群体 中 随机 选择 一 个 结构 a= sis2… si 
(2) 从 {0, 1， 





Ï}; 























nd. j 之 间 的 部 分 ， 产 4 








，1+] 中 随机 选择 两 个 数 让 和 了 了 ， 并 定义 1i=min{ti  ，j}，j=maxfi ， 
(3) 颠倒 a 中 位 置 


新 的 结构 


Bern Gio ricas 

反 转 操作 能 改变 个 体 结构 中 字符 变量 的 位 置 ， 把 原来 相距 较 远 的 字符 变 得 较 近 。 字 符 虽 

的 任意 一 种 排列 都 能 用 适当 的 反 转 序列 产生 出 来 。 反 转 操作 对 模式 H 的 作 

长 度 ， 改 变 模式 中 有 效 字 符 变量 间 的 联结 性 。 
遗传 操作 除了 有 复 4 


D 





SitiSj*** 
Zy 











SI 





















































duplication). ] 








H 
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j 是 随机 改变 H 的 








B RE REMER TI 还 有 染 1 


IR, 342 (translocation), 45$? (segregaon) 等 。 











色 体 内 部 复制 (intrachromosomal 
15.7 ”并行 遗传 算法 
基于 离散 门 德尔 模型 的 遗传 算法 由 五 部 分 组 成 : 
(1) 对 给 定 问题 求解 的 染色 体 表示 ; 
(2) 求解 的 原始 物种 ; 

(3) 起 环境 作用 的 品质 函数 ; 
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(4) 可 以 生成 子孙 的 个 体 的 选择 过 程 ; 
(5) 一 种 遗传 操纵 子 ， 如 变异 、 重 组 ; 
(6) 控制 算法 本 身 的 参数 。 
在 自然 界 中 ， 从 个 体 生活 的 环境 里 进行 选择 是 局 部 地 完成 的 。 从 环境 里 抽象 得 到 的 自然 
























































选择 方程 会 导致 重复 的 危险 。 并 行 遗 传 算法 成 功 地 应 用 在 许多 组 合 问题 中 。 每 个 物种 的 个 体 

































































分 别 用 处 理 机 仿真 ， 所 以 并 行 地 作用 其 他 个 体 。 基 本 算法 如 下 : 


























(1) 给 定 具 有 不 同 开 始 表 型 的 N 个 个 体 ; 
(2) 每 个 个 体 计算 局 部 最 大 ; 
(3) 选择 -一 一 在 “近邻 ”中 选择 配对 ; 























(4) 用 重组 和 突变 创建 子孙 ; 
(5) 返回 步骤 2。 

































































SR 

















和 选择 是 在 这 利 








环境 中 完成 ， 例 如 2-D 格 网 。 个 体 的 近邻 与 基因 型 和 表 如 














并 行 算法 与 经 典 算法 之 间 有 两 点 差别 。 一 是 在 近邻 中 选择 配对 是 局 部 完成 的 。 二 是 每 个 
AMEN LL SEREI. 


所 以 并 行 遗传 算法 采 





基因 型 学 习 和 表 型 学 习 。 更 进一步 ， 个 体 是 生活 在 环境 中 ， 杂 交 
型 空间 的 格 网 没有 连 














接 。 并 行 址 传人 

















择 。 相 反 ， 并 行 遗传 算法 中 是 从 内 部 驱动 。 并 行 遗 传 算法 比 普 通 遗 传 算法 导致 更 大 的 差异 性 。 
进化 是 系统 内 部 自 组 织 驱 动 的 。 














Wilson 于 


法 主要 是 从 遗传 算法 来 的 。 在 遗传 算法 中 个 体 是 被 看 成 是 “最 佳 行为 ”的 选 









































15.8 分 类 器 系统 Boole 


1987 年 开发 了 一 个 布尔 问题 的 分 类 器 系统 Boole [Wilson 





1987] 。 一 个 布尔 函 














数 变 量 L 是 从 长 度 为 工 的 字符 串 到 {0，1 的 映射 。 学 习 函 数 意味 获得 对 任何 输入 字符 串 能 给 











出 正确 输出 0 或 1 的 能 














每 个 Boole 分 类 器 由 一 个 分 类 名 和 一 个 动作 组 成 。L- 位 输入 字符 串 ， 
动作 是 简单 的 一 位 0 或 1， 表 示 函 数 两 个 可 能 值 之 一 。 如 果 分 类 名 与 当前 输入 字符 串 匹 配 ， 
分 类 器 群体 [P] 通常 根据 某 种 随机 规则 ， 初 始 时 全 部 填写 0，1， 或 S. AME 


系统 作出 决策 。 
也 是 同样 填写 。 


在 Boole 中 ，[ 














分 类 名 长 度 为 L。 
































例如 ， 长 度 为 L = 6 的 分 类 器 是 : 
108081/1, 
P] & 400 个 分 类 器 ， 以 一 致 分 布 初始 化 。 初 始 强度 为 























(1) 与 输入 串 匹 配 ， 形 成 匹配 集 [M]. 
(2) 对 [MD 分 类 器 的 强度 使 用 概率 分 布 ， 从 [Mj 中 选择 一 个 分 类 器 ， 上 有 
的 选择 概率 等 于 它 的 强度 除 以 [WW] 中 分 类 器 强度 的 总 和 。 被 选 的 分 类 器 的 动作 作为 系统 的 决 


Wo 





增强 部 件 在 执行 周期 后 ， 根 据 从 环境 接受 的 遍 利 ， 调 整 分 类 器 的 强度 。Wilson fEJH Fh 





的 算法 。 
算法 15.5 












































分 类 器 强度 调整 算法 [Wilson 1987]. 








100. 


在 执行 周期 时 ， 当 输入 字符 串 出 现 ， 系 统 作出 回答 0 或 1。 周 期 分 两 步 : 


1 一 个 特定 的 分 类 器 






































(1) 将 与 所 选 动作 相同 的 分 类 器 形成 子 集 [Mj ， 称 作 动 作 集 [A]。 将 不 在 [MT PAE 
分 类 器 放 在 集合 NOT[A] 中 。 

(2) 在 [中 的 全 部 分 类 器 强度 减少 一 个 分 数 e 。 

(3) 如 果 系 统 决 策 正 确 ， 则 将 赢利 量 R 分 配给 [Aj 的 强度 ; 

(4) 如 果 系 统 决 策 错误 ， 则 将 赢利 量 R (其 中 0 < R Ox DON [Al 的 强度 ， 从 [A] 
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的 强度 减少 一 个 分 数 p。 至 少 R 和 p 中 的 一 个 为 0。 
(5) 从 NOT[Aj] 中 的 强度 减 去 一 个 分 数 t。 
若 步骤 (3) 为 正确 决策 ， 对 [Aj 的 增强 影响 可 用 下 式 计算 : 



































S a = Sa - eSa +R 



































(15. 25) 


其 中 ，SA Ay EAU ATI GRRE, Sa EAN. BOSS AAE R 均 相 同 ， 可 


以 证 明 Sa 将 逐渐 接近 RMe。 建 议 在 相当 稳定 赢利 条 件 下 ，SA 将 是 典型 赢利 估 值 的 函数 。 步 

















又 (4) 定义 了 3 种 不 同 的 赢利 机 制 : 说 利 一 惩罚 ，p A 0; MEA, p IR 





均 为 0， 赢 





利 一 说 利 ，R” 关 0。 第 一 种 反映 环境 ， 表 明 系 统 的 结果 是 错误 的 。 第 二 种 与 环境 响应 ， 在 正 

















确 动 作 产 生 之 前 一 般 没有 差别 。 第 三 种 机 制 反 映 一 般 情况 ， 有 一 个 得 到 最 大 说 利 ， 

















而 其 余 动 





作 得 到 相同 赢利 。 步 又 (2) 中 强度 减少 的 分 数 可 以 认为 是 [A] 中 接受 斋 利 机 会 的 每 个 分 类 器 所 
付出 的 代价 。[Aj 的 总 赢利 是 通过 分 布 函 数 D 分 配 ， 最 简单 的 情况 给 每 个 分 类 器 等 于 共享 R。 
























































发 现 部 件 是 基于 Holland 的 遗传 算法 ， 使 用 复制 、 遗 传 操 作 和 删除 。 下 面 给 上 
遗传 算法 。 

算法 15.6 Boole 的 遗传 算法 。 

(1) 根据 [P] 中 分 类 器 的 强度 ， 通 过 概率 选择 第 一 个 分 类 器 Ci。 















































H Boole 的 


(2) 根据 概率 vy, 与 步骤 (1) 相同 ， 选 择 分 类 器 Cs JP C 和 Ci 进行 杂交 ; 从 结果 中 选 








择 一 个 作为 子孙 ， 男 一 个 被 抛弃 。 
(3) WRB (2) 未 完成 ， 则 复制 C: 形成 子孙 。 
(4) 对 子孙 应 用 变异 操作 ， 以 概率 4 改变 每 个 分 类 的 等 位 基因 。 














(5) 如 果 通 过 杂交 生成 子孙 ， 每 个 父母 的 强度 减少 三 分 之 一 ， 子 孙 的 初始 强度 等 于 父母 





减少 的 总 和 ; 否则 减少 C 的 一 半 ， 而 子孙 的 初始 强度 等 于 减少 的 量 。 
(6) ”将 子孙 加 到 [Pj 中 。 
(7) 根据 [P] 中 分 类 器 强度 的 概率 分 布 ， 删 除 最 小 的 一 个 分 类 器 。 




















每 个 试验 ， 即 每 个 执行 周期 ， 算 法 以 概率 o 被 调用 。 基 本 上 与 标准 系统 算法 相同 ， 不 同 









































的 是 调用 一 次 仅 产 生 一 个 子孙 ， 而 标准 的 算法 通常 产生 许多 子孙 。 
表 15. 1 6- 路 复 用 器 学 习 结 果 
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| A 
[分 类 和 名) 





56 0 1 2 0 x x ü 7655 
52 D-l-43 134 3 l 7541 
48 D "Qu 3 34 4 ü 7056 
46 1 C06 -E 05 3 0 7095 
45 0 o 3 3 34 3 l 6665 
4l Ir T Fos 343 uU ü 5964 
39 ese X 1 l 6323 
35 1 + ee E l 5145 
T $ l # l # 1 l 1044 
d LOL E Fp 1 522 
3 x 0 X # 1 # 1 293 
3 1 1l 4X 3 D 3 ü 210 
2 HK D 1 fs X4 1 330 
2 0 1 1. £z z £z l 212 
2 1 O 0 # 0 X ü 150 
2 0 0 £z s £ # 1 219 
2 lL 43 $T S 1 4 ü 326 
2 1 00 4 0 c3 ie ü 238 
1 43 1 # 0 £2 £4 ü 129 
1 1 0 3X 3S # S$ 0 168 
1 10 1 z F # £ ü 97 

1 1 0 £$ X4 D 0 ü 100 
1 D 0 3x 3 lI x l 81 

1 1 34 4 43 # U ü 212 
1 1-0 3x3 — D^ l 56 

1 0 1 £z 3 # # 1 116 














发 现 模块 还 有 一 个 机 理 是 创建 ， 即 当 执行 周期 时 [M 为 裤 ， 就 生成 一 个 新 的 分 类 器 。 创 建 
的 新 分 类 器 名 是 当前 输入 字符 串 的 复制 ， 而 插入 # 的 概率 等 于 当前 [P] 中 # 的 百分数 。 为 了 











得 到 [P] 中 的 位 置 ， 可 以 采用 步骤 (7) 的 方法 删除 一 个 分 类 器 。 然 后 ，[M 
行 周期 。 





























E 





EE 新 计算 ， 继 续 执 


使 用 Boole 学 习 6- 路 复 用 器 。 每 个 整数 k > 0， 二 进 制 字符 串 的 多 路 复 用 器 的 长 度 L = 


k + 2"。 每 个 输入 字符 串 有 kk 个 地 址 位 ai 和 2 个 数据 位 di, 字 符 串 表 达 式 为 


aoal… axidodi*** d... 








函数 值 是 通过 数据 位 的 (0 或 1) 值 给 出 。 例 如 ， 下 面 是 6- 路 复 用 器 输入 字符 串 和 正确 


输出 值 的 函数 ，L = 6, k = 2: 





000101 0 
110001 1 
101101 0 

因为 k=2, NAT RAABE 00, VRNI H 


HEN 0。 第 二 个 





例子 ， 地 址 位 是 11， 所 以 看 数据 位 3， 因 此 值 为 1。 函数 写成 析 取 范式 为 


Fe = a oa ido + a oaidi + aoa’ ido + acaids 





6 一 路 复 用 器 为 : 
000888 / 0 
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H H 
0 # 
1# 
# 0 
# 1 
HH 
HH 


= = Be eS ooo 
= = o oC Bg 


这 个 集合 称 为 [S6] Boole 将 发 现 特定 分 类 


# 
# 
# 
# 
# 
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/ 
/ 
/ 
/ 
/ 
/ 
Ly 


FP Or OF OF 


AHORA. FETE, KHA- RE 





略 ， 其 参数 为 : e = 0.1, R= 1000, R =0, p=0.8, G=4.0, n = 0.001, y= 0.12, 





e=1.0, t=0.1. Ht 15, 000 RK, BRA 


=] 
Dio 





EX 15. 1 给 出 。 顶 上 的 8 个 分 类 器 是 [S6] 的 成 





15.9 规则 发 现 系统 


在 规则 发 现 系 统 中 ， 学 习 经 常 是 首先 订 
Grefenstette 研制 了 一 种 规则 发 现 系统 RUDI. 


uL 
mi 



































FE 价 系统 现 有 的 规则 质量 ， 然 后 进行 修改 。 





15. 10 给 出 了 RUDI 的 控制 结构 。 问 题 求解 




















级 由 简化 的 分 类 器 系统 组 成 。 学 习 级 是 对 知识 结构 群体 进行 遗传 算法 操作 ， 每 一 个 表示 为 一 
组 规则 表 。 知 识 结构 的 整个 行为 控制 这 些 结构 的 复制 。 
一 一 些 - 一: 月 是 求解 一 执行 
BBA PSP 信用 | sm 
新 规则 
L anon p 
15. 10 RUDI 的 控制 结构 
在 RUDI 中 ， 信 用 赋值 方法 赢利 共享 规划 (Profit-Sharing Plan， 人 简称 PSP) 和 桶 链 算 法 























(BBA) 对 每 个 规则 提供 互补 的 效用 信息 。 根 据 期 望 的 外 部 奖 



































励 ，PSP- 强 度 对 规则 效用 提供 更 

































































精确 的 评估 。 当 问题 求解 时 它 被 用 作 冲 突 消解 。 与 此 相反 ，BBA- 强 度 表示 规则 之 间 的 动态 相 
关 性 ， 规 则 点 火 依 次 会 聚 到 相似 水 平 。 这 种 测度 可 以 用 作 一 组 协作 规则 的 聚 类 。 
Grefenstette 提出 一 种 强度 修改 方案 称 作 赢 利 共享 规 划 PSP。 在 这 种 方案 中 问题 求解 划 
分 成 情节 ， 按 所 接受 的 外 部 奖励 区 分 。 如 果 任 何 步 情 节 在 投标 竞争 中 获胜 ， 则 认为 该 规则 在 
该 情节 活动 。 在 情节 t，PSP 修改 每 个 活动 规则 Ri 的 强度 S; (t) 如 下 : 
Si (t + 1) = Si (t) -bSi (t) *bp(t), (15. 26) 








Hip, p(t) 称 作 在 情节 


结束 时 所 


YIN 
给 出 








投标 , 每 个 活动 规则 
得 到 : 
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得 的 外 部 奖励 ， 即 当 获 得 外 部 奖励 ， 从 每 个 活 





动 规则 搜集 








一 部 分 外 部 奖励 。 考 虑 PSP 对 给 定 规则 Ri 的 影响 , 它 按照 方程 (15. 26) 
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Si(t) = (1-b)'si(0) +b G) pG- (15. 27) 


i=l 











其 中 ,t 的 范围 是 在 该 情节 规则 Ri 是 活动 的 ， 即 Si(t) 基本 上 外 部 奖励 的 权 值 平均 p(t)，(1 
-b) 作为 指数 衰减 因子 。 如 果 b 足够 小 , 那么 S(t) 具有 p(t) 的 平均 值 ,如 果 外 部 奖励 p(t) 
是 常数 ，p IAS: 收敛 到 一 个 平衡 值 Si: 





















































Si = lim-e[(1-b) Si(O) bY (i-b) pl-p (15. 28) 


i-l 





在 常数 赢利 下 ， 它 符合 方程 (5.27), PSP 将 以 下 列 速率 减少 误差 Ei (t) =p -Si (0 : 


AE; = El(lt+1)— E(t) 
= S(t)— S,(t- 1) 
= —b(p* — Si(t)) 
= —bE;j(t). 


(15. 29) 


强度 每 次 改变 , 以 因子 b 减少 当前 强度 与 平衡 强度 之 差 。 例 如 , BE p = 500, b=0. 1, 和 Si (t)= 











100, ABA Si (t+l) = 100- 10 + 50 = 140。 注 意 ， 误 差 p -Si 从 400 减 到 360， 即 10%。 
我 们 看 出 ， 奖 励 相当 是 常数 情况 下 ， 在 PSP 下 每 个 规则 强度 很 快 收敛 到 一 个 平衡 强度 ， 

可 以 预测 情节 结束 时 将 接收 的 奖励 水 平 。PSP 的 一 种 可 能 的 限制 是 它 取 决 于 这 种 前 提 ， 成 功 外 

部 奖励 区 分 的 情节 所 对 应 的 合适 区 间 ， 在 这 个 区 间 里 进行 信用 赋值 。 情 节 的 选择 非常 重要 。 
















































































在 桶 链 算法 BBA rp, 是 基于 规则 之 间 单 独处 理 的 , 可 以 避免 有 关 情 节 的 假设 。 假 设 规则 Ri 











在 z 步 点 火 ， 规 则 R 在 rc 工 点 火 ， 那 么 BBA 按照 下 面 公式 修改 规则 Ri 的 强度 Si : 











Si(r +1) = Si (T) -bSi(z) +bSi(7) (15. 30) 


RIE Hae t OPT ARE, SEB p CO 被 规则 Ri 的 强度 5; 取代 外 ， 这 个 公式 与 式 
(15. 26) 一 样 。 第 一 个 改变 意味 BBA 在 给 定 的 情节 修改 规则 强度 多 于 一 次 。 第 二 个 改变 导致 
PSP 与 BBA 基本 的 不 同 。PSP 强度 预测 所 期 望 的 情节 结束 获得 的 外 部 奖励 是 在 规则 点 火 ，BBA 


的 强度 预测 所 期 望 的 内 部 奖励 是 在 规则 的 下 一 步 。 考 虑 两 条 规则 Ri Ros Ri 每 次 点 火 紧 跟着 























RAK ER 和 Ri 在 每 个 情节 最 多 一 次 ， 那 么 有 : 





Si = lim-+=[(1-b)'Si()+b G) p = p 


i=l 


$ (t) = (1-9 50 + Y b(-9 5, (-D (15. 31) 


i-l 
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敛 到 一 个 常数 S ， 则 Si 也 收敛 : 


HP, c 的 范围 是 整个 情节 ， 两 个 规则 活动 。 换 名 话说 ，Ri 的 强度 跟随 Ri 的 强度 。 如 果 S 收 





S = Lim+0oSi(t) = lim-«[(-8)'$(0* Y 0) SiGi-D] = Sj (15.32) 


事实 上 ， 同 样 理由 导致 式 (15. 29) ， 表 明 S; 收敛 到 B. (the internal payoff for Ri), 其 
励 的 预测 值 。 这 种 分 析 可 以 扩展 到 任何 规则 链 ， 例 如 





收敛 速率 与 规则 强度 收敛 到 PSP 外 部 奖 








i=l 









































qi, Roy c RO 规则 循序 点 火 ， 仅 Rs 接收 外 部 奖励 。 在 平衡 条 件 下 ， 桶 链 算法 使 链 中 的 全 





部 规则 其 有 相同 的 强度 。 在 不 平衡 情况 下 ， 链 9 





(15. 32) 。 在 任何 情况 下 ， 如 
一 般 水 平 。 


为 了 比较 PSP 和 BBA， 让 我 们 考虑 图 15. 11， 它 给 出 10 MRA, 




















PF 规则 强度 由 式 (15. 31) 描述 ， 而 不 是 式 


果 链 所 接收 的 期 望 奖励 相当 一 致 ， 则 链 中 规则 的 强度 趋向 收敛 到 





包 提 








初始 状态 A 和 B, 














结束 状态 H，I 和 J。 在 状态 H，I 和 J 产生 的 外 部 奖励 分 别 是 1000, 0 和 300. 


am. 1000 


图 15.11 


初始 状态 


结束 状态 














PSP 与 BBA 比较 } 


分 类 器 系统 在 这 个 例子 下 运行 ， 使 用 PSP 或 BBA 修改 规则 强度 。 全 部 初始 强度 设置 为 


100, 投标 比率 b W 0.1, 和 1000 情节 在 外 部 奖 


得 到 的 规则 强度 示 于 表 15. 2 
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中 。 

表 15.2 不 同 的 强度 修改 方案 
规则 | PSP 强度 | BBA 强度 
m | 1000 | BAR | 
Rə 299 567 
Rs 1000 645 
Ry 4 644 
R; 300 300 
Re 999 531 | 
Rr 300 300 
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励 执 行 划分 , 即 每 个 分 类 器 系统 为 3000 2b. 


15.10 进化 策略 






































进化 策略 模仿 自然 进化 原理 作为 一 种 求解 参数 优化 问题 的 方法 。 早 期 的 进化 处 理 是 基于 
由 一 个 个 体 组 成 的 群体 和 一 个 操作 符 : 突变 。 进 化 策略 强调 在 个 体 级 上 的 行为 变化 。 最 简单 
的 实现 方法 如 下 : 

(1) 定义 的 问题 是 寻找 n 维 的 实数 向 量 x， 它 使 函数 F(x): R 一 Re 

(2) 双亲 向 量 的 初始 群体 从 每 维 可 行 范围 内 随机 选择 。 

(3) 子孙 向 量 的 创建 是 从 每 个 双亲 向 量 加 上 零 均 方差 高 斯 随机 变量 。 

(4) 根据 最 小 误差 选择 向 量 为 下 一 代 新 的 双亲 。 

(5) 向 量 的 标准 偏差 保持 不 变 ， 或 者 没有 可 用 的 计算 方法 ， 那 么 处 理 结束 。 







































































































































































15. 11 进化 规划 


进化 规划 (evolutionary programming) 的 过 程 ， 可 理解 为 从 所 有 可 能 的 计算 机 程序 形成 的 
空间 中 ,搜索 有 高 的 适应 值 的 计算 机 程序 个 体 ， 在 进化 规划 中 ， 几 百 或 几 千 个 计算 机 程序 参与 
遗传 进化 。 进 化 规划 最 早 由 美国 的 L. J. Fogel. A. J. Owens 和 M.J. Walsh 在 1962 年 提出 。 

进化 规划 强调 物种 行为 的 变化 。 进 化 规划 的 表示 自然 地 面向 任务 级 。 一 旦 选 定 一 种 适应 性 
表示 ， 就 可 以 定义 依赖 于 表示 的 变异 操作 ， 在 具体 的 双亲 行为 上 创建 子孙 。 

进化 规划 最 初 由 一 随机 产生 的 计算 机 程序 群体 开始 , 这 些 计算 机 程序 由 适合 于 问题 空间 领 
域 的 函数 所 组 成 ， 这 样 的 函数 可 以 是 标准 的 算术 运算 函数 ， 标 准 的 编程 操作 ， 逻 辑 函 数 或 
领域 指定 的 函数 群体 中 每 个 计算 机 程序 个 体 是 用 适应 值 测度 来 评价 的 ， 该 适应 值 与 特定 的 问 
题 领域 有 关 。 

进化 规划 可 繁殖 出 新 的 计算 机 程序 以 解决 问题 ， 它 分 三 个 步骤 ; 

(1) 产生 出 初始 群体 ， 它 由 关于 问题 (计算 机 程序 ) 的 函数 随机 组 合 而 成 。 

(2) 友 代 完成 下 述 子 步骤， 直至 满足 选 种 标准 为 止 : 

Q 执行 群体 中 的 每 个 程序 ， 根 据 它 解决 问题 的 能 力 ， 给 它 指 定 一 个 适应 值 

2) 应 用 变异 等 操作 创造 新 的 计算 机 程序 群体 。 基 于 适应 值 根 据 概率 从 群体 中 选 出 一 
个 计算 机 程序 个 体 ， 然 后 用 合适 的 操作 作用 于 该 计算 机 程序 个 体 。 把 现 有 的 计算 机 程序 复 甫 
到 新 的 群体 中 。 通 过 遗传 随机 重组 两 个 现 有 的 程序 ， 创 造 出 新 的 计算 机 程序 个 体 。 

(3) 在 后 代 中 适应 值 最 高 的 计算 机 程序 个 体 被 指定 为 进化 程序 设计 的 结果 。 这 一 结果 可 
能 是 问题 的 解 或 近似 解 。 
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习题 











请 简 述 进化 系统 的 理论 模型 。 
请 给 出 达尔 文 进化 算法 。 
叙述 基本 遗传 算法 的 定义 ， 并 说 明基 本 遗传 算法 的 构成 要 素 。 
遗传 算法 试图 支持 搜索 时 的 遗传 多 样 性 ， 同 时 又 要 保持 重要 特征 (用 遗传 模式 表示 ) 
的 存活 ， 描 述 一 种 不 同 的 遗传 算 子 ， 它 同时 文 持 这 两 个 目标 。 
l. 什么 是 简单 变异 操作 ， 简 述 简单 变异 操作 的 过 程 。 
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什么 是 简单 反 转 操作 ， 简 述 简单 反 转 操作 的 步骤 。 
考虑 巡回 推销 员 问 题 。 讨 论 选 择 这 个 问题 的 合适 编码 问题 。 


他 合适 的 遗传 算 子 和 适应 度 度 量 
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设计 遗传 算法 搜索 巡回 推销 员 问 题 的 解 。 
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请 简 述 遗传 算法 种 的 染色 体 和 基因 是 如 何 表 示 的 。 


给 出 两 个 父 个 体 111088808] 1 类 0111 拉 ， 设 定 交 叉 点 为 6, 


Se te 
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AP 
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子 ， 写 出 它们 的 子 个 体 
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TED 














TH 


j 程 序 设计 语言 编写 并 行 遗 传 算法 。 
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设计 针对 这 个 问题 的 其 








请 使 有 





昌 单 点 一 直 交 又 杂 





第 十 六 草 ALEM 

















人 工 生命 是 指 ) 
或 模型 系统 。 








16.1 8| 


计算 机 和 精密 机 械 等 生成 或 构造 表现 自然 4 
自然 生命 系统 的 行为 特点 表现 为 自 组 织 、 目 修复 、 自 复制 的 基本 愧 
成 这 些 性 质 的 混沌 动力 学 、 环 境 适应 和 进化 。 
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Fi 





在 现实 世界 中 ， 普 i 


























的 根源 。 








的 服装 。 可 是 有 一 天 某 种 类 型 
又 改变 了 各 个 组 成 成 员 的 状态 
序 ， 而 宏观 的 秩序 又 左右 微观 
用 的 过 程 。 神 经 细胞 是 组 成 成 











常生 活 中 的 “流行 ” 便 是 一 种 这 村 
的 服 闭 呈 现 出 优势 ， 就 
































用 已 有 的 信息 ， 一 方面 吸收 新 
































方式 。 从 信息 处 理 动 态 变化 过 程 的 观点 看 ,“ 流 
的 要 素 还 原 法 ， 即 将 各 种 事物 细 分 成 组 成 它 的 要 素 























原 有 


杂 性 的 研究 不 能 采用 






































杂事 物 只 能 照 它 复 杂 的 面貌 


复 
美国 圣 菲 研究 所 非 线性 研究 组 的 兰 顿 (C. G6，Langton) 于 1987 年 提出 人 工 生 











来 理解 。 








理 活动 、 认 知 活动 等 都 是 复杂 系统 。 一 般 认为 ， 非 线性 、 





























E 命 系统 行为 特点 的 仿真 系统 








Em, AKÉ 


地 存在 着 各 类 复杂 系统 ， 例 如 人 体系 统 、 神 经 系统 、 免 疫 系统 、 心 








不 稳定 性 、 不 确 

















ZB AY 


的 现象 : 集团 中 的 组 成 成 员 各 人 都 穿着 符合 其 个 性 
Wr 


A 响 整 个 集 


团 服装 的 倾向 。 整 体 倾向 

















定性 是 造成 复杂 性 








和 向。 这样， 微观 的 行为 决定 宏观 的 秩 


间作 
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TT 





























， 反 过 来 又 对 整体 发 生 影 

的 行为 。 同 样 ， 神 经 系统 中 的 信息 处 理 也 是 宏观 与 微观 之 

员 ， 神 经 网 络 是 社会 。 当 从 外 部 得 到 新 的 信息 时 ， 脑 一 方面 利 

的 信息 ， 自 律 地 生成 新 的 信息 结构 。 每 一 个 神经 细胞 都 将 影响 
神经 网 络 ， 而 神经 网 络 又 控制 各 个 神经 细胞 的 行为 。 我 们 理解 新 知识 的 过 程 ， 就 是 采用 这 种 





与 神经 系统 从 本 质 上 说 都 是 一 样 的 。 这 些 











加 以 分 析 研 
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(artificial life)。 人 工 生 命 的 独立 研究 领域 的 地 位 已 被 国际 学 术 界 所 承认 。 在 1994 年 创 

















刊 并 在 
研究 领 ] 
d) “人 工 生命 


在 美国 新 墨 西 可 


















































月 





ME: 人 工 生命 研究 的 理论 、 生 命 现 象 的 仿真 、 细 胞 自动 











世界 著名 学 府 麻 省 理工 学 院 出 版 的 
成 内 的 权威 刊物 。 人 工 生命 学 术 界 举办 的 7 次 
关于 生命 系统 合成 与 模拟 的 跨 学 科 碳 
的 罗斯 阿拉 莫 斯 举 行 。 本 次 会 议 的 论文 集 共 收录 了 24 篇 论文 ， 
L EK CA 、 遗 传 算 法 、 进 化 仿 
他 在 文中 提出 了 人 工 生命 的 概 








国际 刊物 《人 工 生命 》 
国际 学 术 会 议 简要 评述 如 下 : 
讨 会 ”。 本 次 会 议 于 1987 年 9 




















(Artificial L 






































真 等 5 个 方面 ， 兰 顿 发表 了 题 为 “人 工 生命 ”的 开拓 性 论文 ， 
念 ， 并 讨论 了 它 作 为 一 门 新 兴 的 研究 领域 或 学 科 存 在 的 意义 。 兰 顿 被 公认 为 人 工 











创立 者 。 这 次 会 议 标志 着 人 工 生命 研究 领域 的 诞生 。 


(2) “人 工 生 命 工 一 一 人 工 生命 





























圣 菲 举行 ) 。 该 会 议论 文集 


讨 会 ”。 本 次 会 议 于 1990 年 2 月 在 美国 


收录 了 31 篇 论文 ， 内 容 分 为 概貌 、 自 组 织 、 进 化 动力 学 、 开 发 、 





ife) ， 是 该 





内 容 主要 分 








AE firth 
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学 习 与 进化 、 计 算 、 哲 学 与 突现 、 未 来 等 8 部 分 。 其 中 兰 顿 的 “混沌 边缘 的 生命 ”、 约 翰 。 科 
# (John Koza) 的 “遗传 进化 和 计算 机 程序 的 共 进 化 ”属于 经 典 之 作 。 

(3) “人 工 生命 IT 一 一 人 工 生命 研讨 会 ”，1992 年 6 月 在 美国 新 墨西哥 的 圣 菲 举行 。 本 
次 会 议 的 论文 集 共 收录 了 26 篇 论文 ， 内 容 除 涉及 遗传 算法 、 进 化 仿真 、 突 现行 为 、 适 应 度 概 
貌 图 、 群 体 动力 学 和 混沌 机 制 等 人 工 生命 经 典 内 容 之 外 ， 还 讨论 了 机 器 人 规划 应 用 问题 。 科 
R ATEM: 自我 复制 的 自发 突现 与 进化 的 自 改进 计算 机 程序 ” 堪 称 杰作 ， 从 遗传 编程 
算法 方面 探讨 了 在 人 工 生命 研 究 中 关键 的 突现 机 理 。 

(4) “人 工 生命 TV 一 一 第 四 届 国 际 生命 系统 合成 与 模拟 研讨 会 ”，1994 年 7 月 在 美国 
麻 省 理工 学 院 举行 。 本 次 会 议 的 论文 集 共 收 录 了 56 篇 论文 ， 内 容 分 为 特 邀 报告 、 长 文 和 短文 
3 个 部 分 ， 它 覆盖 了 协同 进化 、 遗 传 算 子 、 进 化 与 其 它 方 法 〈 如 神经 网 络 等 ) 的 综合 、AL 算 
法 、 关 于 混沌 边缘 和 分 岔 的 研究 、AL 建 模 、 学 习 能 力 、 进 化 动力 学 、 细 胞 自动 机 、DNA 非 均 
衡 学 说 研究 、 人 工 生 命 在 字符 识别 、 机 器 人 等 方面 的 应 用 等 较为 广泛 的 内 容 。 

(5) “人 工 生命 V 一 一 第 五 届 国 际 生命 系统 合成 与 模拟 研讨 会 ”，1996 年 5 月 16-18, 
在 日 本 古城 奈良 举行 ， 来 自 世界 各 地 的 500 多 名 学 者 参加 了 会 议 。 这 是 人 工 生命 首次 在 亚洲 
召开 的 国际 会 议 。 人 工 生命 概念 刚 提出 ， 就 引起 日 本 学 者 的 关注 ， 第 一 次 人 工 生命 国际 会 议 
就 有 日 本 学 者 参加 。 这 次 会 议 在 日 本 的 召开 ， 标 志 着 日 本 成 为 亚洲 人 工 生命 研究 的 中 心 。 

(6) “人 工 生命 VI 一 一 第 六 届 国 际 人 工 生 命 研 讨 会 ”，1998 年 6 月 26-29 在 美国 洛 杉 
矶 加 利 福 尼 亚 大 学 举行 。 这 次 会 议 的 主题 是 “生命 和 计算 : 变化 着 的 边界 ”。 本 次 会 议 收 到 
大 约 100 篇 提交 的 论文 ， 其 中 39 篇 作为 完整 论文 在 这 次 会 议 的 论文 集中 得 到 介绍 。 有 9 篇 论 
文 被 认为 是 人 工 生命 的 新 的 高 质量 工作 。 这 次 会 议 主要 的 论文 涉及 的 是 计算 的 分 子 和 细胞 生 
物 学 。 会 议 提供 了 许多 新 的 关于 发 育 过 程 、 细 胞 分 化 机 理 和 免疫 反应 模型 制造 的 新 见解 。 这 
些 论文 把 人 工 生 命 扩 展 到 令 人 兴奋 的 新 方向 。 

C “人 工 生命 一 一 回顾 过 去 ， 展 望 未 来 ”， 于 2000 年 8 月 1-6 日 在 美国 波 特 兰 的 
里 德 学 院 举 行 。 本 次 会 议 的 主题 是 ，“ 回 顾 过 去 ， 展 望 未 来 ”。 具 体 讨论 的 问题 有 以 下 儿 个 
方面 : 生命 的 起 源 、 自 组 织 和 自 复制 问题 ， 包 括 人 工 化 学 进化 、 自 催化 系统 、 虚 拟 新 陈 代谢 
AES 发 育 和 分 化 问题 ， 包 括 人 工 的 和 自然 的 形态 发 生 ， 多 细胞 分 化 与 生物 进化 ， 基 因 调 节 网 
络 等 ， 进 化 和 适应 动力 学 问题 ， 包 括 人 工 进化 生态 学 ， 可 进化 性 及 其 对 生物 组 织 的 影响 ， 进 
化 计算 等 ， 机 器 人 和 智能 主体 ， 包 括 进 化 机 器 人 ， 自 主 适 应 机 器 人 和 软件 智能 体 等 ， 通 讯 、 
协作 和 集体 行为 ， 包 括 突现 集体 行为 ， 通 讯 和 协作 的 进化 ， 语 言 系统 、 社 会 系统 、 经 济 系统 
和 社会 -技术 系统 等 ， 人 工 生命 技术 和 方法 的 应 用 ， 包 括 工 业 和 商业 的 应 用 ， 可 进化 硬件 、 自 
修复 硬件 和 分 子 计算 ， 金 融和 经 济 学 ， 计 算 机 游戏 ， 医 疗 应 用 ， 教 育 应 用 等 ， 认 识 论 和 方法 
论 基 础 问题 ， 包 括 人 工 生 命 的 本 体 论 、 认 识 论 以 及 伦理 和 社会 影响 等 。 

(8) “ATE dr VIII" F 2002 年 12 月 9-13 日 在 澳大利亚 悉尼 新 南 威尔士 大 学 举行 。 本 
次 会 议 具体 讨论 的 问题 有 以 下 几 个 方面 : 生命 起 源 ， 发 育 和 差异 ， 进 化 和 自 适应 动力 学 ， 机 
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器 人 和 智能 主体 ， 通 讯 、 协 作 和 集体 行为 ， 人 工 生命 技 术 的 应 用 ， 仿 真 和 综合 工具 和 方法 论 


^s 
^o 



































第 9 届 会 议 人 工 生命 国际 会 议 于 2004 Æ 9 H 12-15 日 在 美国 波士顿 举行 。2001 年 成 立 了 

















2005 年 9 月 在 英 




















国际 人 工 生 命 学 会 (http://www. alife.org/ International Society for Artificial Life). 











http://www. ecal2005. org/。 
为 什么 要 研究 人 工 生 命 ? 在 这 一 领域 研究 时 要 支持 哪些 东西 。 从 控制 我 们 的 生态 环境 的 


工程 新 应 用 到 在 自然 界 中 为 我 们 提供 较 好 的 前 景 这 个 广阔 的 范围 ， 都 可 以 找到 它 的 应 用 























国 肯特 大 学 举行 欧洲 第 8 届 人 工 生命 学 术 会 议 ， 请 参见 网 址 : 









































人 工 生命 的 研究 可 使 我 们 更 好 地 理解 突 发 特征 ， 个 体 在 低级 组 织 中 的 集合 ， 通 过 我 们 的 

















相互 作用 ， 常 可 产生 特征 。 该 特征 不 仅仅 是 个 体 的 重合 ， 而 且 是 总 体 上 新 的 出 现 特 征 。 这 样 


的 现象 可 见于 自然 界 的 所 有 
总 体 分 解 为 它 


RITES KARE jJ 





























领域 ， 但 在 生命 系统 中 更 为 明显 。 生 命 本 身 确实 有 突 发 性 质 ， 当 
门 的 组 成 部 分 时 ， 相 互 作 用 所 产生 的 突 发 性 质 将 全 部 消失 。 归 约 科学 ， 它 的 研 
此 的 学 术 研究 ， 其 中 大 部 分 是 分 析 的 方法 。 归 约 科学 在 各 个 领域 都 已 






















































































取得 很 大 成 功 。 但 自然 的 很 多 特性 都 被 忽略 ， 这 并 不 是 因为 这 些 特性 是 无 趣 的 或 不 重要 的 ， 
] 研 究 这 些 特性 ， 但 缺乏 适当 的 工具 和 有 效 的 方法 来 研究 ， 人 工 生 命 领域 的 研究 必 
须 是 综合 的 ， 把 所 有 的 因素 综合 考虑 以 创造 生命 形式 ， 而 不 是 股 解 。 

有 很 多 方法 使 得 新 的 特性 可 能 突 发 ， 虽 然 ， 通 过 自然 选择 的 进化 ， 增 加 了 复杂 性 ， 使 这 


KA, AE 


些 方式 不 易 得 到 和 难以 应 用 。 
HR, FEARN 































































































在 研究 人 工 生命 中 共同 的 工具 和 方法 很 可 能 对 其 它 领 域 也 是 有 























的 物理 学 家 研究 突 发 性 质 已 引起 人 工 生 命 界 的 注意 ， 对 于 研究 自然 界 中 的 突 











发 性 质 ， 人 工 生 命 提供 了 一 种 非 传统 的 途径 。 





人 工 生命 将 会 成 为 





























究 生 物 的 一 个 特别 有 用 的 工具 。 对 于 人 研究 像 炉 条 件 这 样 的 抽象 课题 ， 

















可 以 支持 有 关 生 命 问 题 的 研究 。 长 期 以 来 ， 从 有 机 体 的 简单 模型 到 研究 复杂 现象 ， 对 生物 方 





























面 的 研究 已 取得 了 一 定 的 效果 。 








人 工 生命 不 仅 对 于 实验 提供 了 短 的 生命 周期 (对 于 人 是 20 E, REN 10 天 , Hillis 分 类 


算法 为 1 秒 


b), 





人 工 生命 系统 对 于 控制 和 繁殖 力 提 供 了 非 并 行 的 机 会 。 人 工 生命 也 提供 了 机 会 








使 你 可 看 到 有 趣 的 但 不 可 预测 的 突 发 性 质 ， 然 后 ， 返 回 以 前 的 时 间 以 研究 它们 的 遗传 。 





人 工 生命 























的 ， 但 也 是 有 用 的 。 


















































作为 生物 界 的 基本 研究 工具 ， 有 能 力 使 有 机 体 和 社会 变 得 简单 化 ， 昌 然 是 人 工 








对 于 发 展 新 技术 及 增强 我 们 控制 自然 的 能 力 ， 人 工 生命 系统 是 很 有 潜力 的 。 从 任务 的 规 
范 说 明显 式 地 产生 代码 。 例 如 自动 编程 ， 用 规范 说 明 语 言 描述 任务 ， 然 后 精练 所 得 到 的 程序 ， 


以 改善 程序 系统 的 性 能 。 













































































也 可 以 进行 机 器 学 习 的 研究 ， 通 过 提供 所 希望 的 输入 输出 数据 ， 训 












































练 计算 机 ， 获 取 所 需 的 知识 。 
人 工 生命 中 程序 的 开发 首先 选择 一 种 计算 体系 结构 ， 然 后 提供 一 系列 的 环境 以 使 程序 进 
化 ， 使 该 程序 可 完成 指定 的 任务 。 

















目前 遗传 算法 学 术 界 已 提供 进化 参数 集 ， 对 于 很 多 任务 ， 该 参数 集 可 提供 好 的 ， 但 不 必 
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是 最 好 的 解 。 


神经 











这 些 





的 。 


过 去 很 少 


PL 
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于 昆虫 传染 病 ， 世 界 上 相当 一 部 分 谷物 
成 很 大 的 损失 。 过 度 使 用 农药 也 会 导 

更 有 效 和 更 聪明 地 使 ) 
模拟 昆虫 繁殖 ， 以 便 ) 















































limi 
pu 





EL, 














VM iex DRE. X] 
主 。 通 过 分 子 生物 学 的 技术 
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2 LN 





有 这 机 


























为 重视 的 是 发 











=| 








存在 的 。 


是 广泛 












































虫 群体 ， 该 昆虫 群 


A (FR. 




















于 蚊子 控制 ， 








由 于 虫 灾 而 歉收 ， 若 没有 
世界 生态 系统 出 现 非 常 严 重 问题 。 
农药 ， 这 要 求 应 能 得 到 更 好 的 模拟 技术 。 




















目 























把 这 些 能 力 工程 化 的 最 好 方法 无 疑 依赖 于 任务 及 现代 的 计算 机 体系 结构 技术 。 正 像 人 工 
网 络 ， 通 过 学 习 获 取 新 的 能 力 ， 在 本 质 上 是 并 行 的 。 一 些 大 规模 并 行 计算 
高 度 并 行 的 问题 时 ， 取 得 了 良好 的 效果 。 

人 工 生命 的 另 
命 有 能 力 在 这 些 地 方 











机 系统 在 处 理 





传统 的 生命 不 能 居住 的 地 方 ， 进 化 的 新 的 生 
的 能 力 的 可 能 性 是 符 

















令 人 兴奋 











展 新 的 教育 工具 ， 要 使 下 一 代 掌 握 更 多 的 科学 和 数 
知识 是 时 代 的 需要 要 。 通 过 综合 新 的 生命 形式 ， 使 学 生 
这 种 现象 在 社会 科学 中 也 
上 面 已 提 到 过 人 工 生 命 模型 在 生态 学 仿真 和 进化 上 是 有 效 的 。 每 年 有 数 以 百 万 的 儿童 死 


更 容易 理解 和 学 习 生 物 的 突 发 性 质 。 























Hy) 











的 化 学 农药 ， 则 将 会 千 





迫切 需要 找 出 办 法 








到 际 


BN 已 开 








发 人 工 生 命 软 件 









































] 于 农业 生产 。 在 不 同 繁殖 场所 
体 可 以 繁殖 ， 也 可 通过 迁移 和 其 它 子 昆 虫 群体 发 生 作 上 月 


水 灾 ) 而 消失 。 我 们 能 够 再 生 这 些 昆虫 过 去 的 群体 周期 ， 且 











JER, 




























































































H, they Eg 
能 用 不 同方 法 控制 它们 。 























然 界 的 本 








16. 2 人 工 生命 的 探索 
长 期 以 来 ， 人 类 一 直 企 图 用 当时 的 技术 模拟 自然 界 的 工作 ， 用 人 工 办 法 理解 自 
质 。 早 期 的 机 械 技术 提供 工具 ， 扩 展 人 的 体力 劳动 的 本 领 ， 极 大 地 减轻 了 人 的 体力 劳动 。20 














世纪 初 ， 风 辑 在 算术 机 械 运 算 中 的 运 ) 





















































]， 导 臻 过程 的 抽象 形式 化 。 丘 奇 (Church) HEA 
(Kleen), Al (Turing) 和 帕 斯 特 (Post) 形式 化 逻辑 序列 步 的 概念 ， 形 成 了 实现 机 械 处 理 的 基 


























础 。1945 年 1 月 6 日 在 普林斯顿 研究 所 有 关 脑 和 计算 机 的 讨论 会 上 ， 认 为 工程 和 神经 网 络 是 





基础 之 








3 月 的 控制 论 会 议 上 ， 形 成 了 以 冯 . WREN ARERIA 





o JAK, 2 
15. VEDI E 


























FJ 





E24 (Wiener) $&iH T fq 
次 和 计算 机 在 组 织 上 的 相似 性 ， 研 究 
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诺 伊 曼 方法 将 





伊 曼 计算 机 体系 结构 就 


部 表示 和 站 


KE 





是 典型 
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械 的 问题 在 统 


迎 来 了 信息 科学 的 发 


的 科学 





AS BE 





n- 纳 





j 信 息 、 反 














台 使 








ZEN 





究 ， 形 成 控制 论 学 派 。 
40 年 代 末 ，50 年 代 初 ， 冯 . 诺 伊 曼 提 出 了 机 器 
展 。1956 年 在 达 特 默 斯 的 夏季 讨论 会 上 , x 
正式 形成 人 工 智 能 学 科 的 研究 。 人 工 生 命 许多 早期 的 工作 也 源 于 人 了 
拉 特 (Rosenblatt) 研 究 感 知 机 ， 斯 塔 勒 (Sta 














自 增 长 的 可 能 性 理论 。 
F9 
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Wie. ALR Ay ABZ 2a T MP 神经 网 络 模型 。 
形式 逻辑 如 何 表示 脑 。1946 年 
1 以 维 纳 为 首 的 控制 论 派 。 汉 . 
算 还 原 到 基本 的 逻辑 世界 ， 对 符号 用 显 式 的 逻辑 过 程 实 


控制 等 概念 ，; 








现 。 冯 . 诺 
各 生物 和 机 





H 


LN? 





以 计算 机 为 工 


出 人 工 智 能 这 一 术语 。 
[智能 。60 ER, DRI 
hl) 建立 了 一 些 细胞 活动 的 模型 








4， 他 把 图 灵机 用 作 





























杂 的 发 展 历 史 ， 支 持 细 胞 间 的 通信 和 差异 。 








“算法 酶 ” 将 生化 表示 成 字符 串 。60 年 代 后 期 ， 林 登 麦 伊 尔 (Lindenmayer) 提出 了 生长 发 展 
中 的 细胞 交互 作用 的 数学 模型 ， 现 在 称 为 L- 系 统 。 这 些 相当 简单 的 模型 ， 可 以 明显 地 显示 复 

















70 年 代 以 来 ， 科 拉 德 (Conrad) 和 他 的 同事 研究 人 工 仿生 系统 中 的 自 适应 、 进 化 和 群体 动 











力学 ， 提 出 了 不 断 完 善 的 “人 

























































































世界 ”模型 。 后 来 侧 习 
斯 基 (Chomsky) 的 形式 语言 理论 应 用 在 程序 设计 语言 的 规范 说 明和 
应 用 于 图 象 处 理 。 科 伟 (Conway) 提出 生命 的 细胞 自动 书 
胞 周围 的 8 个 细胞 中 有 3 个 细胞 正好 是 通 ， 那 么 该 细胞 开通 ， 若 周 
那么 它 就 保持 通 ， 否 则 它 就 关 断 。 这 样 的 细胞 自动 机 系统 已 被 广 

与 人 工 智能 有 关 的 领域 ， 如 经 典 逻 辑 、 搜 索 算 法 、 局 





UNT FEE 























算法 、 模 糊 数 学 等 都 取得 了 很 大 进展 。 其 中 最 重要 的 是 提出 以 入 





























程 、 专 家 系统 ， 使 人 工 智能 进入 实 ) 
露出 了 不 少 问题 ， 


有 效 性 等 。 














诸如 知识 表示 、 和 常识 性 知识 、 非 单调 推 更 











研究 系统 突 发 性 的 个 体 适 应 性 。 乔 姆 























发 编译 程序 。 细 胞 自动 机 








在 这 
围 细 
泛 试验 。 
发 式 搜索 、 推 理 、 神 经 网 络 、 遗 传 
[ 识 为 基础 的 推理 ， 即 知识 工 
j， 各 种 专家 系统 纷纷 出 现 。 但 是 ， 专 家 系统 在 应 用 中 暴 
E、 框 架 问 题 、 知 识 获 取 、 解 题 的 


理论 中 ， 如 果 一 个 细 
胞 有 2 个 或 3 个 通 ， 




















80 年 代 ， 人 工 神 经 网 络 又 兴起 ， 出 现 了 许多 神经 网 络 模型 和 学 习 算 法 。 与 此 同时 ， 人 工 























生命 的 研究 也 逐渐 兴起 。 








1987 年 召开 了 第 一 届 国 际 人 工 生命 会 议 。 


16.3 人 工 生命 模型 











当前 ， 人 工 生命 的 研究 现状 与 人 工 智能 早期 历史 可 以 说 是 并 行 的 。 现 在 已 有 许多 人 工 生 











命 程 序 的 例子 ， 著 名 的 有 : 
1l. 计算 机 病毒 

















计算 机 病毒 提供 了 人 工 生命 生动 的 例子 ， 描 述 了 生命 系统 所 固有 的 特征 一 一 繁殖 、 机 














体 集 成 ， 不 可 预见 性 等 。 像 病毒 一 样 的 程序 ， 或 许 对 计算 机 网 络 有 用 。 




















2， 计 算 机 的 进程 
































类 似 于 计算 机 病毒 ， 
























































该 进程 与 物质 媒体 交互 作用 以 文 持 这 些 物 质 媒体 (如 
T, ， 可 把 进程 认为 具有 生命 的 特征 。 









































它 把 进程 当 作 生命 体 ， 它 在 时 间 空 间 
县， 修改 所 在 的 环境 。 这 里 应 当 加 以 区 分 ， 不 是 说 计算 机 是 生命 体 ， 而 是 说 进程 是 生命 体 。 
Hm. KW 























P 可 以 繁殖 ， 从 环境 中 汲取 信 

















有 虚拟 存储 时 包括 磁 





显然 ， 计 算 机 进程 与 自然 生命 有 本 质 的 区 别 ， 因 为 进程 间 的 连接 和 支持 进程 存在 的 物质 有 






































很 少 的 内 在 联系 ， 例 如 ， 占 有 CPU 的 计算 机 进程 可 被 解释 并 被 送 全 内 存 ， 或 送 到 磁盘 ， 
同时 ， 其 他 的 进程 在 CPU 上 执行 ， 不 同 之 点 是 表面 的 。 





























与 此 


一 些 种 子 保持 冬眠 达 数 生年， 在 冬眠 期 内 既 没 有 新 陈 代 谢 ， 也 没有 受到 刺激 ， 但 毫 无 疑 
问 ， 它 们 是 有 生命 的 ， 在 适当 的 条 件 下 即 可 发 芽 。 类 似 地 ， 计 算 机 进程 也 可 在 内 存 某 个 地 方 
之 外 活着 ， 正 等 待 适当 的 条 件 重新 出 现 以 便 恢 复 它 们 的 活动 状态 。 























zany 
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3， 生 物 统计 学 和 个 体 胎 生 学 
生命 系统 能 进化 和 有 共有 产生 复杂 的 集成 模式 的 形态 的 能 力 。 自 然 界 中 这 种 能 力 看 来 几乎 
是 唯一 的 、 复 杂 而 美丽 的 模式 ， 常 常 有 些 分 形 几 何 图 形 ， 可 由 生命 细胞 的 简单 动作 的 重复 及 













































































当前 ， 类 似 于 生命 形态 的 系统 的 进化 技术 与 自 繁 殖 能 力 是 有 差别 的 。 至 于 我 们 的 理解 力 及 
通过 进化 位 串 发 展 而 产生 复杂 的 表现 型 能 力 。 计 算 机 图 形 的 应 用 将 变 得 更 为 广泛 ， 故 我 们 看 
到 有 潜力 产生 美丽 的 、 类 生命 的 、 不 能 预料 的 模式 和 行为 ， 有 人 已 经 编程 出 进化 神经 网 络 ， 
网 络 中 个 体 有 举止 ， 可 以 移动 ， 对 另 一 些 个 体 发 送信 号 。 更 为 强调 的 是 要 研究 基因 和 整个 机 
体 之 间 的 事件 链 结 ， 遗 传 型 正好 是 位 串 ， 这 些 位 串 的 参数 正 像 人 工 神 经 网 络 中 的 权 值 或 阔 口 。 

4， 机 器 人 

机 器 人 提供 了 类 似 于 生命 系统 的 完全 不 同 途径 。 从 形态 上 看 与 生物 相似 ， 然 而 它 没 有 繁 
殖 能 力 ， 但 它们 可 以 通过 推理 预见 将 来 。 机 器 人 有 很 多 性 质 与 生命 有 关 一 -一 杂 性 、 机 体 集 
成 ， 受 刺激 、 及 可 移动 。 

5， 自 催化 (autocatalytic) 网 络 

它 与 高 技术 的 机 器 人 相反 ， 由 人 设计 和 构造 ， 在 模拟 化 学 试管 中 产生 类 似 生 命 的 可 自 繁 
殖 ( 或 自 进 化 ) 的 简单 系统 ， 这 类 系统 有 两 类 正 处 于 活跃 的 研究 阶段 一 自 催 化 网 络 和 细胞 自动 
机 。 























































































































































































































自 催 化 网 络 有 很 多 种 变形 ， 发 展 最 完善 的 是 超 周期 理论 (theory of hypercycle) 。 它 被 
连 到 反应 元 件 (RNA) 网 络 ， 人 允许 连贯 的 功能 偶 联 进化 、 自 复制 实体 。 这 里 利用 超 周期 网 络 为 例 
子 来 讲述 所 有 的 自然 生命 系统 ，Eigen 已 开发 了 关于 超 周期 的 推理 理论 ， 它 可 自发 增加 它 的 复 
杂 性 ， 以 及 什么 时 候 会 月 泪 。 它 的 数学 处 理 是 基于 连续 反应 运动 学 的 。 假 设 元 素 的 完全 混合 
没有 空间 的 结构 ， 它 优 于 细胞 自动 机 模型 。 

6. ”细胞 自动 机 

它 是 细胞 阵列 ， 每 个 细胞 是 离散 结构 ， 根 据 预先 规定 的 规则 ， 这 些 状态 可 随时 间 而 变化 ， 
传递 规则 是 通过 阵列 ， 计 算 每 个 细胞 的 当前 状态 以 及 它 的 近邻 的 状态 ， 所 有 的 细胞 均 自 发 地 
更 新 。 自 催化 网 络 和 细胞 自动 机 都 产生 不 随时 间 而 变化 的 自 组 织 、 自 复制 模式 ， 但 处 理 它们 
的 数学 模式 是 不 同 的 。 

细胞 自动 机 的 历史 是 辉煌 的 。1940 年 它 由 汉 . 诺 伊 曼 发 明 的 ， 可 说 是 用 数学 和 逻辑 形式 提 
供 了 理解 自然 系统 (自然 自动 机 ) 的 一 种 重要 的 方法 ， 它 也 是 理解 模拟 和 数字 计算 机 (人 工 自动 
机 ) 的 一 种 系统 理论 。 随 着 大 规 横 并 行 单 指令 多 数据 流 (SIMD) 计算 机 的 发 展 ， 很 容易 获得 低 价 
格 的 彩色 图 象 ， 使 得 细胞 自动 机 的 研究 更 为 方便 。 兰 顿 的 工作 可 辨别 细胞 自动 机 规则 集 ， 可 
支持 自 组 织 过 程 及 自然 系统 中 的 位 变化 ， 这 为 实现 冯 . 诺 伊 曼 计算 机 视觉 到 出 了 一 步 。 在 前 苏 
Wk, Vladimir kuz’ min 和 他 的 同事 正 朝 着 男 一 个 方向 使 用 细胞 自动 机 模拟 生命 。 由 于 细胞 自 
动机 和 计算 机 的 紧密 联系 ， 为 研究 图 灵机 等 价 于 某 类 化 学 系统 和 生命 细胞 提供 了 桥梁 。 

Boerlijst 和 Hogeweg 将 超 周期 和 细胞 自动 机 两 种 方法 结合 起 来 产生 自 繁殖 过 程 ， 对 于 
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7. ATER 
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组 织 

















织 起 来 及 怎样 自发 增加 复杂 性 。 





人 工 生命 并 不 局 限于 计算 机 ， 认 识 这 一 点 是 很 重要 的 。 许 多 被 酶 作用 的 物质 可 以 支持 生 











命 ， 化 学 系统 所 形成 的 各 种 生命 正在 开发 。 








1960 年 Sol Spiegelhe 和 他 的 同事 结合 当时 已 知 的 分 子 的 最 小 集合 ， 允 许 在 一 个 试管 中 
进行 RNA 的 自 复制 ---- 核 昔 酸 前 体 、 无 机 物 分 子 、 能 源 、 复 制 酶 、 以 及 来 自 a B 细菌 噬菌体 
(bacteriophage) 的 RNA 的 锥 形 。 满 足 了 这 些 需 要 后 ， 细 菌 噬菌体 RNA 分 子 不 
| 以 保持 合适 的 频率 ， 一 系列 转移 到 


















































阔 宿 主 ， 但 可 以 很 快 地 复 秆 














与 此 同时 RNA 分 子 本 身 反 而 变 小 了 人， 直到 达到 最 小 的 尺 十 






























































的 形式 变 为 小 的 、 不 易 传 染 的 形式 ， 大 抵 是 因为 它 可 从 细 





制 和 进化 RNA 分 子 是 同 原 始 人 工 生命 形式 类 似 的 。 



































DNA 的 聚合 链 反 应 。 


分 子 生物 学 的 新 发 展 已 经 变 得 更 加 有 趣 ， 促 使 人 -了 
酶 化 学 和 复制 能 力 ， 这 是 非常 关键 的 。 这 允许 单个 RNA 分 子 进 化 。 另 一 有 意义 的 发 展 是 扩张 


























需要 感染 的 细 





RNA 分 子 的 数目 快速 增长 ， 但 
为止 。 分 子 群体 从 大 量 的 、 易 传染 
苗 核 昔 酸 处 脱落 。 很 清楚 ， 这 些 复 


























[分 子 进化 。Cech 和 Allman 发 现 RNA 有 




















16.4 人 工 生 命 的 研究 方法 


按照 人 工 生命 的 组 织 机 构 ， 人 工 生命 的 内 容 大 致 可 以 分 成 两 类 : 
(1) 构成 生物 体 的 内 部 系统 ， 包 括 脑 、 神 经 系统 、 内 分 泼 系统、 免疫 系统 、 遗 传 系统 、 























酶 系统 、 代 谢 系统 等 。 



































(2) 在 生物 体 及 其 群体 中 表现 的 外 部 系统 。 生 物 群体 中 环境 适应 系统 和 遗传 进化 系统 














Age 
^o 

















从 生物 体 的 内 部 和 外 部 系统 所得 到 的 各 种 信息 ， 构 成 人 工 生命 研究 的 方法 ， 主 要 有 两 类 : 
(1) 模型 法 。 根 据 内 部 和 外 部 系统 所 表现 的 生命 行为 ， 建 造 信息 模型 。 




















(2) 工作 原理 法 。 生 命 行 为 所 显示 的 自律 分 散 和 非 线 愧 


分 形 ， 据 此 研究 它 的 机 理 。 























E 的 行为 ， 它 的 工作 原理 是 混沌 和 


例如 ， 现 在 认为 ， 人 工 神 经 网 络 是 生物 内 部 系统 的 模型 系统 ， 而 遗传 算法 是 外 部 系统 的 
模型 系统 。 在 神经 网 络 的 信息 处 理 中 ， 反 应 混沌 的 特点 ， 而 遗传 算法 认为 是 自律 分 散 的 并 行 























处 理 。 从 这 样 的 模型 系统 可 以 看 到 

















下 列 策略 : 


(1) 采用 以 计算 机 等 信息 处 理 机 器 为 中 心 的 硬件 4 
采用 已 有 的 信息 处 理 机 器 和 执行 装置 ， 实 现 具有 人 工 生 
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各 种 各 样 的 生命 固有 的 行为 。 
人 工 生命 的 研究 必须 将 信息 科学 和 生命 科学 结合 起 来 ， 形 成 生命 信息 科学 ， 这 可 以 采取 





MITAR. J 




















F 构 造 生命 系统 。 这 些 都 通称 为 生物 计算 机 ， 是 一 利 






































向 人 了 


[生命 接近 的 方法 。 














E 成 生命 行为 。 一 般 有 两 种 方法 : 一 种 














种 是 用 生物 器 








(2) 用 计算 机 仿真 ， 研 究 开 发 显示 生命 体 特征 行为 的 模型 软件 。 简 单 地 说 ， 神 经 网 络 系 
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统 和 遗传 算法 等 ， 都 是 采用 信 
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息 数 学 模型 


J， 模拟 人 工 生 命 的 生成 。 























(3) 基于 工作 原理 ， 利 ) 
杂乱 无 章 。 生 成 这 种 现象 的 原理 
现象 。 








m9 

















(4) 通过 计算 机 仿真 ， 分 析 生 命 特有 的 行为 生成 ， 建 立新 的 到 
FEF 质 ， 通 过 概括 ， 


























得 到 生命 行为 
并 行 处 理 等 天 
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计算 机 仿真 生成 4 


E 
是 














T 














dr 








E 命 的 基本 到 

















E 命 体 。 生 命 现象 的 基 硬 
的 分 形 、 耗 散 结构 、 协 同 反 应 等 ， 采 


He. 





ie BL 
j 这 些 产生 4 
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EM 





























He. RIH Eri 3 个 策略 ， 
这 种 策略 形成 自 组 织 、 超 



































EX 4 P 
发 ， 用 计算 机 等 人 工 媒体 4 
命 研究 的 成 果 将 以 还 
扩充 的 生命 行为 信息 处 理 机 
工 生命 是 形成 新 的 信息 处 班 
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而 其 


模型 。 


也 可 





15. 诺 伊 曼 研究 与 构造 结构 有 关 的 晶 











传 描述 : 


(1) 解释 指令 而 构造 子孙 ， 














人 工 生命 的 研究 策 
成 构造 生命 。 将 真实 
原 主 义 的 分 子 4 
可 以 为 精密 机 械 、 控 4 
a 体系 强大 的 推动 力 。 

人 工 生命 的 目标 之 一 是 扩充 有 
展现 类 生命 行为 的 人 工 媒体 

















各 ， 基 本 上 是 从 真实 的 生物 信息 



































E 物 的 生命 概念 和 
EFE 物 学 为 中 心 ， 可 以 作为 现代 生物 学 的 补充 。 








处 理 系统 接受 许多 概念 和 启 
B Z PR ATE 
| 象 、 泛 化 、 
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(2) 不 解释 数据 而 只 是 把 它 复 


Ne 


“4 Watson 和 Crick 揭示 DNA 

汉 . PHBL TIURA 
构造 普遍 性 。Smith thesis T Eb 
FEH., 

关于 计算 机 的 另 一 种 和 
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毒 迅速 发 展 ， 不 久 的 将 来 会 成 为 传染 怕 


出 可 能 性 的 构造 性 证 明 ， 他 要 求 自 
| E 明 。 他 的 证 明 优 美 地 应 
E 命 形式 就 是 计算 机 病毒 ， 它 已 存 胡 
的。 生物 学 家 争辩 着 生物 病毒 











出 到 创建 的 
分 子 的 工作 机 到 


























时 ， 表 明 这 是 人 








计算 机 科 


LE 论 的 经 验 数 据 库 。 一 种 办 法 是 在 刘 
F 何 显 式 仿真 ， 也 没有 人 


繁殖 ， 他 发 现 可 以 采用 两 利 


述 副 本 ， 然 后 传 给 


EW) 
fii 





PM, AS TEE PS INR I 
J 等 其 E 4j] 
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| 算 机 内 创建 进 
体 已 知 的 生物 

















E 何 其 























Fh 不 同 的 方式 进行 机 体 的 遗 





它 的 子孙 。 
本 的 遗传 情况 。 
关机 器 具有 计算 普遍 性 和 
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] 了 递归 函数 论 的 著名 递 














E 10 年 之 


和 久 ， 越 来 越 多 的 计算 病 




















可 以 自 
繁殖 后 代 ， 由 了 
t 
随便 钻 进 
























































当 机 器 人 能 够 自 


繁殖 ， 但 它们 没有 自己 的 新 陈 代谢 以 复种 
六 媒体 不 同 ， 计 算 机 
究 人 工 生命 的 目标 就 是 试图 
计算 机 网 络 ， 或 钻 进 生物 图 
人 工 生命 会 带 来 少量 危险 ， 随 着 我 们 对 生物 合成 现象 有 
繁殖 ， 正 像 产 生 自 








病毒 看 来 比 生物 病毒 多 少 活 














是 否 有 生命 。 尽 管 它们 


上 需要 的 部 分 ， 而 必须 接 过 母体 的 新 陈 代谢 以 
跃 一 
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， 则 将 会 对 ] 
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ZANT ALARA RAI, NX 











Lay M 
量 哲学 


人 工 生命 为 讨论 大 








问题 提供 了 











追寻 最 高 科学 的 和 智能 的 目标 ， 但 如 不 小 心 保 管 ， 让 他 们 
界 造成 毁灭 性 的 后 
工 来 越 多 的 了 解 ， 这 种 危险 将 会 : 





FH. 
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。 现 阶段 已 知道 
FR. 


1 世界 将 会 变 成 什么 样 。 











E 命 的 本 质 、 智 能 和 所 

















这 样 的 概念 好 像 陷入 毫 无 希望 的 ; 





em. 


个 新 的 论坛 ， 这 些 是 有 关 纪 
存在 的 经 典 的 和 现代 的 问题 。 关 于 人 工 智 能 的 可 能 性 有 很 多 争论 ， 对 于 “ 思 2 











fi » 和 é€ 知觉 » 











对 于 人 工 生命 的 争辩 多 少 有 点 像 对 于 机 器 智能 的 争辩 ， 人 工 智能 和 人 工 生命 都 试图 在 计 
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算 机 上 实现 。 在 科学 家 思考 什么 是 “智能 ”时 ， 人 工 智能 已 经 完全 改变 了 和 它 的 方向 。 虽 然 人 

















工 智能 没有 达到 它 的 总 目标 ， 但 它 已 对 科学 界 做 出 了 很 多 贡献 。 
与 人 工 智能 类 似 ， 人 工 生命 可 以 促使 我 们 思考 什么 是 “活着 的 ”。 导 
态 ” 没 有 公认 的 定义 。 当 问 及 什么 是 生命 时 ， 生 物 学 家 经 常会 列举 出 大 多 数 生命 系统 的 主要 



































实 上 ， 对 于 “生命 状 





pu 

















行为 和 特征 ， 如 : ASS. HERR FET. BRAR NEE. WA, UL EBIPUBSSEZH 
成 了 严格 的 行为 标准 ， 但 计算 机 进 祷 也 有 上 述 行为 。 对 此 ， 我 们 有 两 种 选择 。 











(1) 承认 计算 机 的 行为 是 活着 的 ， 
































(2) 改变 以 上 所 列 的 行为 标准 ， 使 得 计算 机 进程 不 是 活着 的 。 
人 工 智能 在 达到 “智能 ”方面 失败 的 原因 是 它 试 图 追逐 一 个 活动 的 目标 。 普 遍 认 为 下 棋 
需要 真正 的 智能 ， 现 在 计算 机 下 棋 可 击败 大 多 数 人 ， 故 有 人 认为 不 能 把 下 棋 的 能 力作 为 智能 









































的 标志 。 












































正如 入 工 智能 的 情形 ， 对 于 人 工 生命 模型 的 本 体 性 状态 有 两 种 意见 : 一 种 是 弱 解 释 : 计 



































算 机 进程 只 不 过 是 生命 的 仿真 。 当 然 这 很 清楚 ， 这 在 讲述 “真实 ”生命 菜 些 具体 科学 问题 时 









































着 的 2 



































是 有 用 的 ， 但 进程 从 来 不 认为 是 生命 本 身 的 例子 。 男 一 方面 是 强 的 解释 ， 以 上 所 列 的 行为 已 
括 了 所 有 已 知 的 生物 生命 , 同时 也 包括 了 某 些 计 算 机 进 实 。 因 而 应 当 考 虑 进程 实际 上 是 “ 活 










































































首先 必须 区 分 定义 生命 的 质量 和 那些 生命 的 简单 特性 。 很 多 概念 对 于 思考 和 日 常 谈 话 是 














有 用 的 ， 但 要 精确 地 定义 是 不 可 能 的 ， 例 如 ， 众 所 周知 的 “机 器 ””“ 游 戏 ”， 以 及 “ 爱 ” 但 




















是 “ 活 的 ” 则 是 另 一 回 事 。 





根据 活力 理论 ， 活 的 系统 与 不 活 的 系统 有 本 质 的 区 别 。 这 使 生物 学 家 努力 辨识 活 的 生命 
体 和 不 活 的 ， 今 天 少数 生物 学 家 仍 认 为 这 是 非常 值得 重视 的 问题 。 昌 然 自然 生命 系统 的 几乎 


















































所 有 特性 能 够 被 辨认 ， 但 对 于 生命 还 没有 令 人 满意 的 形式 定义 。 生 命 系统 中 的 一 些 最 重要 的 


特性 是 : 


(1) 生命 体 的 复杂 性 和 组 织 ; 
(2) ”构成 它们 的 分 子 的 化 学 结构 唯一 性 ; 











(3) 
(4) ”拥有 遗传 程序 ， 






































里 个 生命 体 的 唯一 性 及 变异 ; 








最 终 形 成 遗传 表现 型 ; 


(5) 通过 上 自然 选择 形成 ; 








I 








(6) ”行为 的 明显 不 确 





定性 。 


























以 上 的 确 有 助 于 理解 是 什么 使 得 生命 体 是 唯一 的 。 























关键 问题 是 自 繁 殖 ， 




















它 是 大 多 数 天 然 生 成 的 有 机 体 的 最 重要 的 特征 ， 同 时 也 是 区 分 生命 
































体 与 非 生命 体 的 最 重要 特征 。 但 繁殖 的 能 力 并 不 是 所 有 的 自然 生命 体 都 具有 的 ， 生 命 的 界线 








仍 被 认为 是 活着 的 ， 如 锯 ! 


























克 (prions) 含 有 蛋白 质 ， 但 不 含 核糖 核酸 ， 又 如 爱滋病 反 转 录 病 毒 




















(AIDS retroviruses) 含 有 FRNA， 但 没有 DNA， 它 们 自身 不 能 繁殖 ， 它 们 取代 宿主 的 代谢 系统 。 
繁殖 与 生命 定义 的 关系 也 不 明确 ， 例 如 又 子 ， 阁 人 ， 它 们 能 走 ， 谈 话 ， 思 考 ， 从 所 有 的 标准 
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来 看 是 活着 的 ， 但 不 能 繁衍 出 后 代 所 以 说 ， 繁 殖 不 是 生命 的 定义 特征 。 


论 、 形 态 形 成 理论 、 混 沌 理论 、 遗 传 理 









































人 工 生命 研究 的 基础 理论 是 细胞 自动 机 理 


复杂 性 理论 等 。 以 下 各 节 将 分 别 给 以 简单 介绍 。 
































16. 5 细胞 自动 机 





细胞 
的 结构 











自动 机 (CA) 是 另 一 种 对 结构 递归 应 用 简单 规则 组 的 例子 。 在 细胞 自 
是 整个 有 限 自 动机 格 阵 。 在 这 种 情况 下 ， 局 部 规则 组 是 传递 函数 ， 在 格 阵 中 的 每 个 自 








论 、 信 





动机 中 ， 被 改变 





动机 是 同 构 的 。 所 考虑 修改 的 局 部 上 下 文 是 当时 邻近 的 自动 机 的 状态 。 自 动机 的 传递 函数 构 




















造 一 种 简单 的 、 离 散 的 空间 /时 间 范 围 的 局 部 物理 成 分 。 要 修改 的 范围 里 采 
尽管 物理 结构 本 映 每 次 并 不 发 
围 里 ， 依 靠 上 下 文 有 关 的 规则 组 ， 人 们 可 以 嵌入 所 有 的 处 理 方法 ， 对 



































结构 的 “细胞 ”重复 修改 。 这 样 ， 
在 这 种 范 


















































展 ， 











局 部 物理 成 分 对 
但 是 状态 在 变化 。 
局 部 邻 域 


























条 件 在 通用 的 意义 下 传播 信息 。 特 别 是 人 们 可 以 租 入 通用 的 计算 机 。 














日 A^ 


AER] 











机 格 阵 中 
下 面 我 们 讨论 三 维 空间 中 的 细 朋 
止 状态 ， 定 义工 是 VER … V — V BER 
m 个 邻居 的 细胞 自动 机 ,，f 称 为 该 细胞 自 
由 于 任何 完备 的 细胞 自动 机 总 是 无 限 集 , 我 们 这 
细胞 自动 机 中 的 细胞 有 8 个 状态 ， 





























YE 口 


YY AE 











A, 









































图 中 * 号 代表 状态 为 0 的 细胞 ， 空 白 处 也 代表 状态 为 
言 号 传播 的 过 程 可 以 通过 以 下 例子 说 明 : 

大 站 2 de vo SAM VA 

1 








22222 
上 面 示 出 信号 Os 的 传播 过 程 ，s= 4, 
号 “的 形式 传播 数据 。 一 个 信号 含有 两 个 


2 






























































^ 








单 的 、 有 具体 的 状态 结构 ， 可 以 计算 所 建立 
包 自 动机 的 生长 。 记 Y 为 细胞 状态 旨 


BI 0, 1, 2, 3, 4, 5, 6, 
本 结构 ，04, 05, 06,07 为 信号 。 状 态 为 1 的 细胞 称 为 核 细胞 ， 状 态 为 2 的 细胞 称 为 充 细 


同 游 动 的 状态 细胞 ， 

















的 整个 符号 集 。 











因为 这 些 计 算 机 在 自动 





f (vo, Vo, t 


动机 的 变换 函数 。 


讨论 的 细胞 自 
7。 




















0 的 细胞 。 


22 2 2 2 











R, V 
, vo) = vo, WU (V, Vo f) 称 为 是 


动机 杠 入 到 2 维 平 面 
中 0, 1, 2, 








状态 0 ， 数 据 路 径 可 以 分 文 和 肩 出 。 














THL, T-2 时 的 信号 复制 情况 。 
2719s 3 -0- P039 Qo ope. D 
[OU € 1 d d c Td f o0 sid 
SOD gr xp 2: aD. OD 
x 2 1 2 x x x 2 | 2 x x 
* 2 1 2 x x * 2 | 2 x x 

时 刻 T 时 刻 T 
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在 分 支点 处 ， 信 


有 一 元 素 vo 为 静 
































3 RAW ASL 











2 
1 
2 


5, 6, 7, 所 以 称 作 数据 路 径 。 顾 名 思 义 ， 即 能 以 “ 信 
言 号 状态 本 身 (4, 5, 6, 7) 带 有 
号 能 够 复制 本 身 。 下 面 给 出 在 时 刻 T, 





ON Oe Dg cd. ud 
> 1 1 10 s 1 
DEC NU E 

* 2 1 2 x x 
* 2 1 2 x x 
时 刻 T+2 


un 


信号 06 在 连接 点 处 的 








25 12 


1 1 
2 2 
* oo 
* oo 


* Ok 


我 们 构造 下 述 变换 规则 表 


f(0, 1, 2, 7, 0-1 
£(0, 1, 2, 3, 2)=1 
f (4, 0, 2, 0, 2) =2 
f (4, 0, 2, 6, 2) =2 
f (2, 0, 0, 4, 2)=0 
f (7, 0, 0, 2, 1)=0 


No c Wb 


x 






































结合 变化 如 下 ， 可 以 看 出 数据 路 径 的 扩张 。 

2-2. 2.8.2 2 2 X d. ua» aug 
61111 > 11107111 

2 c 2 2 0 0 uad 

2 0 2 * x x x x 2 | 2 * x 
2 2 * x x ok x 2 | 2 * * 
2 1 2 * x x ck x 2 | 2 * * 

， 由 此 即 可 构造 出 二 维 空间 中 的 细胞 自动 机 的 生长 。 

f(7,0,0,0,2)=3  f(2,0,0,2,3)=7  f(1,0,2,3,2)=6 
£(3,0,2,2,1)=0 £(7,0,2,1,2)=0  f(,0,7,2,2)-3 
£(2,0,0,2,4)=0 £(2,0,2,6,2)=4  f(2,0,0,1,4=2 
£(2,0,4,6,2)=4 £(1,2,4,2,6)=4  f(41,2,2,2)-0 
£(2,0,2,4,2)=0 £(2,0,1,2,4)=2 £(6,0,2,4,2)=4 
f (0, 1, 2, 7, 2)=4 








= 


lj 


Bs 
2 


细 





们 把 一 个 细胞 








TRASH AD BES 











时 针 方 向 旋转 ， 以 便 
细胞 自动 机 的 概念 可 
闻 ， 以 及 定义 于 该 
胞 作为 它 的 邻居 。 一 个 细 
胞 给 定 有 限 个 状态 和 一 个 
时 刻 TH 时 的 状态 ， 上 县 
的 所 有 可 能 状态 连同 管理 
以 一 个 细胞 自动 机 系统 是 由 一 个 细胞 空间 和 定义 于 该 空间 上 的 变换 函数 所 组 成 。 细 胞 

昌 胞 连同 赋 于 每 个 细胞 的 状态 所 指定 ， 可 理解 》 





上 表 中 函数 f 的 第 一 个 自 变量 为 中 心细 胞 的 状态 , 接着 的 4 个 























产生 最 小 的 4 位 数 。 























胞 自 
区 分 状态 ( 叫 “ 空 状态 ”)， 及 一 条 规则 。 该 规则 给 出 每 个 细胞 在 


以 下 方式 建立 : 首先 我 们 有 一 细胞 空间 ， 它 组 成 了 N 
昌 胞 空间 的 邻居 关系 。 对 于 每 个 细胞 空间 ， 由 于 邻居 关系 ， 必 有 有 限 个 


动机 系统 (简称 “ 





该 规则 是 在 时 间 t 时 该 细胞 











以 下 我 们 讨论 细胞 自动 机 的 问题 。 


为 避免 讨论 边界 问题 ， 我 们 考虑 一 无 界 的 空间 ， 
空间 为 格 状 空间 (tessel lation) 一 个 给 定 的 


的 正方 形 的 细 上 有 
细胞 的 邻居 是 于 


JH (N, T, S, q, f)。 这 里 N 是 正 整数 , T 是 N 维 欧 几 里 德 空间 的 子 划分 ， 即 划分 为 细胞 集 ， 


每 个 细胞 都 是 边 Jr, T 的 中 心 是 正 


S 的 区 分 状态 ， 


个 细胞 的 所 有 状态 的 集合 映射 到 X 于 时 妈 





u, RE | 





自 变 量 是 4 个 邻居 的 状态 











ERLE 




















细胞 系统 ”) 是 这 样 定义 的 : 该 系统 对 每 个 








自身 的 状态 及 它 的 邻居 的 状态 的 函数 。 我 





该 细胞 的 状态 变换 的 规则 一 起 称 为 一 个 变换 函数 。 所 


自动 机 
它 的 细胞 都 处 于 空 的 状态 。 


























EE 


























FED LEER 25 TREE A AHERN 


它 是 N ¢ 

















上 的 方 格 ， 我 们 称 该 名 


站 每 一 个 坐标 与 给 定 的 坐标 至 多 相差 1 的 所 有 名 











j 胞 。 格 状 结构 可 形式 定义 为 五 









































KA LIN? 

















整数 坐标 。S 是 由 状态 组 成 的 有 限 集 





称 之 为 静止 状态 。f 是 映射 函数 ， 它 把 任 一 个 细胞 X 在 时 刻 T-1 时 的 邻居 3 








J T 时 的 状态 。 





格 状 细胞 的 有 限 方块 叫做 阵列 ， 这 种 阵列 的 状态 或 构 型 是 与 每 个 细胞 的 状态 相关 的 函数 。 


也 就 是 说 一 个 阵列 构 型 规定 了 在 时 刻 T 
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时 阵列 的 每 个 细胞 的 状态 。 如 果 C 阵列 满 影 


映射 到 C 
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00000 


阵列 ， 同 时 每 个 细胞 与 它 的 映像 有 同样 的 状态 ， 











Cx 阵 列 的 N 个 两 两 不 相交 的 子 人 





n 个 复制 。 


典型 的 形态 形成 型 
































应 用 来 重 写 新 的 结构 。 











这 里 是 一 个 简单 的 L- 系 统 的 例子 。 规 则 采 























Am 
S 





下 文中 的 关系 。 例 如 一 组 规则 : 


(1) A — CB 
(2 B> A 
(3) C > DA 
(4) D 一 C 





则 构 型 C” 是 构 型 C 的 一 个 复制 。 如 果 存 在 
其 中 每 个 子 集 都 为 C 的 一 个 复制 ， 则 构 型 Cx 含 有 构 型 C 的 


















































当 把 这 组 规则 用 于 初始 种 子 结构 “A”， 就 可 以 得 到 下 面 的 序列 : 


0 
1 


A WwW N 




















点 用 规则 
初始 种 子 
规则 1, CB 代替 A 





E 论 是 1968 年 Lindenmayer 提出 的 L- 系 统 , L- 系 统 由 一 组 符号 串 的 重 写 
规则 组 成 ， 它 与 乔 姆 斯 基 (Chomsky) 形式 语法 有 密切 关系 。 在 下 面 “X — Y” 表 示 结 构 中 当 出 
JL x 时 用 字符 串 Y 代替 。 因 为 字符 X 可 以 出 现在 规则 的 右边 和 左边 ， 这 组 规则 可 以 被 递归 地 





上下文 无 关 ， 即 在 特定 部 分 改变 时 不 考虑 上 


规则 3, DA 代替 C; 规则 2, A (RE B 














规则 4 C 代替 D; 规则 1 
继续 进行 





























两 次 ，CB 代替 A 


L- 系 统 与 元 符号 结合 , 可 以 表示 分 文 点 , 允许 从 主干 分 六 产生 新 的 符号 行 。 规定 符号 “()” 

















假定 有 下 列 规则 ; 





F 初 始 字 符 串 “A” 就 可 以 得 到 下 面 的 序列 : 





“[ ] ”分 别 表示 左 和 右 分 文 。 

(1) A — C[B]D 

(2 B> A 

(3) C—C 

(4) D > C(BA 

(5) E —D 

当 把 这 组 规则 用 寺 
DOR ” ”结构 
0 A 
1 C[B]D 
2 C[A]C (E) A 
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= 


应 用 规则 
开始 种 子 
规则 1. 
规则 3, 2, 4. 
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3 
4 
为 了 沿 着 结构 传 





在 下 面 的 例子 中 ， 我 人 
“[” 和 “] ”分 别 表 示 字 符 














(1) HO € 
(2) C{C} ~ C 
(3) *{C} > * 
(4) {*}C + C 
(5) 


bey > * 





C[C[B]D]C (D C[B]D 


CICIATC (D) ACC E) A C A 
播 信号 ， 在 规则 左边 
] 规 定 在 “{ } ”中 的 符号 或 
的 左 端 和 右 端 。 例 如 ， 规 则 组 包括 下 列 规则 
在 字符 串 左 端 的 “C” 保持“C” 























次 数 


信号 传播 外 

















-1 Oc» Ci A C N 





























LAB 














At. TA 


符号 上 


规则 3, 1, 3, 5, 1. 


> 


> 











€ C » 和 它 左 端 的 € C » 保持 € C » 
«c» 和 它 左 端的 “yg”? 变 成 a d 
oy” AUG m HS e 变 成 Or 





E 力 非常 重要 ， 它 允许 全 














ASTE HERI en i ten 





在 这 些 规则 下 ， 初 始 结构 “x*CCCCCCC” 将 产生 向 右 传 播 : 


结构 

*CCCCCCC 
C*CCCCCC 
CC*CCCCC 
CCC*CCCC 
CCCC*CCC 
CCCCC*CC 
CCCCCC*C 
CCCCCCC* 














MAB 

















3 BOB EGIT. KREYE 





EAH ESSERE EZ H 




















16. 7 混沌 理论 


























以 ， 这 种 系统 特殊 行 
所 关注 的 ， 人 工 生命 中 ， 它 的 生成 原 到 














高 级 信息 处 理 























不 稳定 的 。 把 
轨道 。 














差 对 于 以 后 运动 影响 很 大 。 在 混沌 
这 种 性 质 称 为 轨道 不 稳定 性 ， 这 和 基于 有 限 周 期 的 轨 
界 中 动力 学 分 为 秩序 和 混沌 。 秩 序 的 规则 行 
预测 的 行为 。 两 者 从 时 间 发 
生命 行为 所 提取 的 特征 现象 的 发 生 原 理 的 秩序 和 混 汀 
kt 有 在 它 的 周期 上 的 复杂 性 ， 高 度 的 复杂 计算 是 不 可 能 的 。 混 沌 系统 必须 有 严格 的 规定 ， 


























统 














展 上 基本 | 


为 是 自然 振荡 ， 即 有 限 周 期 和 混沌 。 

















自然 振荡 称 为 稳定 的 有 限 周期 。 这 利 
有 限 振 荡 和 混沌 是 结构 稳定 的 两 个 方面 。 它 们 日 


















































规则 3, 3, 2, 4, 3, 4, 3, 2, 3. 
符号。 这 时 规则 就 成 为 上 下 文 有 关 的 。 
将 被 代替 ， 而 上 下 文 左边 其 

















余 的 符号 





PhP， 可 以 直接 影响 结构 的 发 展 。 


E 上 可 以 定义 为 非 线 性 、 非 平衡 的 开放 系统 。 所 
这 些 生命 特有 的 行为 是 本 体 主义 和 
是 主要 的 。 有 限 周期 可 以 分 为 稳定 的 和 
稳定 的 有 限 周期 邻近 的 位 相 面 轨 道 渐 近 闭 


















































为 是 周期 解 。 
上 是 动力 学 系统 。 所 以 ,9 
LB TF SERE JJ P 
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的 差别 仅仅 在 于 有 限 周 
PF， 初始 条 件 的 差 随 着 时 间 很 快 扩 大 ， 近 似 再 现 是 困难 的 。 
道 稳定 性 的 有 序 化 形成 明显 对 照 。 自 然 
其 它 混沌 系统 是 复杂 的 ， 长 期 不 能 
E 命 体 是 混沌 和 秩序 的 复合 。 











期 的 初始 条 件 的 























F 呢 。 首 先 ， 秩 序 系 











447 








从 理论 上 计算 它 的 轨道 的 不 稳定 性 行为 是 困难 的 ， 因 此 ， 仅 考虑 在 混沌 的 边界 所 看 到 的 生命 
行为 。 这 样 ， 信 息 的 存储 、 传 送 、 变 换 之 类 的 基本 操作 可 以 通过 秩序 和 混沌 的 混合 系统 实现 : 

(1) 信息 存储 是 从 有 序 系统 所 看 到 的 稳定 周期 动力 学 获得 。 

(2) 信息 的 传送 和 变换 可 以 从 混沌 系统 不 稳定 动力 学 实现 。 

兰 顿 发 现 ， 通 过 调整 描述 细胞 自动 机 规则 中 的 一 个 参数 入 就 能 让 这 些 一 维 的 细胞 自动 机 
连续 的 变化 于 固定 值 -> 周 期 型 -> 复杂 型 -> 混沌 型 。 因 此 ， 兰 顿 提 出 复杂 型 的 细胞 自动 机 是 介 
于 秩序 (固定 值 、 周 期 ) 与 混沌 之 间 的 一 种 状态 ， 他 把 它 命名 为 “混沌 的 边缘 ”。 进 一 步 ， 
人 们 不 难 发 现 ， 自 然 界 中 一 切 复杂 的 现象 ， 包 括 生 命 、 智 能 、 社 会 实际 上 都 是 介 于 秩序 与 混 
沌 的 边缘 。 因 为 系统 要 想 足 够 复杂 ， 就 既 不 能 过 于 秩序 而 变 得 僵 死 ， 又 不 能 过 于 混沌 而 变 得 
混乱 ， 系 统 会 巧妙 地 自动 平衡 于 秩序 与 混沌 这 两 种 状态 之 间 。 






















































































































































































16.8 人 工 生 命 的 实验 系统 


人 工 生命 的 研究 平台 的 目标 是 通过 计算 机 对 生命 行为 特征 的 模拟 ， 可 以 最 终 形成 生命 计 
算 理论 。 即 计算 机 不 会 成 为 生命 体 ， 但 可 以 作为 研究 人 工 生命 的 强 有 力 工具 ， 除 了 能 表现 出 
生命 的 一 些 基本 行为 ， 还 能 表现 生命 的 一 些 特有 行为 ,如 自 组 织 、 自 学 习 等 。 研究 这 些 平台 不 
仅 有 助 于 解释 生命 的 全 钥 及 探索 生命 的 起 源 和 进化 ， 而 且 也 为 生物 学 研究 提供 了 新 的 途径 ， 
同时 也 为 人 工 生命 的 研究 提供 了 有 利 的 工具 。 










































































16.8.1 Tierra 数字 生命 进化 模型 

















1991 年 ， 美 国 俄 克 拉 何 马 大 学 的 生物 学 家 汤姆 斯 。 雷 (Thomas S. Ray) 完成 了 一 个 叫 
Tierra( 西 班 牙 语 ， 意 为 地 球 ) 的 计算 机 模拟 程序 。 汤 姆 斯 。 雷 是 一 位 研究 热带 雨林 的 进化 和 
生态 问题 的 生物 学 家 ， 在 他 开发 的 Tierra 系统 中 ， 很 多 具有 自 复制 能 力 的 数字 生物 构成 了 一 
个 虚拟 生命 世界 ， 计 算 机 的 中 央 处 理 器 和 内 存 组 成 的 物理 环境 使 得 演化 过 程 得 以 进行 。 中 央 
处 理 器 的 时 间 代表 能 量 ， 内 存 空间 代表 资源 ， 这 些 数字 生物 或 自 复制 程序 不 断 地 改变 自身 的 
进化 策略 ,在 Tierra 世界 中 为 生存 展开 竞争 。 那 些 能 够 获得 更 多 时 间 和 内 存 空间 的 程序 可 以 
在 下 一 代 中 留 下 更 多 的 拷贝 ， 反 之 则 会 被 淘汰 。 该 系统 的 运行 展现 了 很 多 进化 和 变异 特征 ， 
以 及 与 地 球 生 命 相近 的 种 种 行为 。 刚 开始 时 ，Tierra 模型 中 只 有 一 个 简单 的 祖先 “生物 ”， 
经 过 526 万 条 指令 的 计算 后 ，Tierra 模型 中 出 现 了 366 种 大 小 不 同 的 数字 生物 。 经 过 25. 6 亿 
条 指令 后 ， 演 化 出 了 1180 种 不 同 的 数字 生物 ， 其 中 有 些 寄生 在 别 的 数字 生物 体内 ， 有 些 对 寄 
生生 物 具 有 免疫 能 力 。Tierra 还 演化 出 了 间断 平衡 现象 ， 甚 至 还 出 现 了 社会 组 织 。 总 之 ， 几 
乎 自然 演化 过 程 中 的 所 有 特征 , 以 及 与 地 球 生命 相近 的 各 类 功能 行为 组 织 , 都 会 出 现在 Tierra 
当中 。Tierra 的 主页 是 : http://www. his. atr. jp/ ray/tierra/index. html. 

Tierra 的 最 可 喜 的 成 果 是 证 明 机 器 代码 能 够 进化 。 这 意味 着 机 器 代码 能 变异 或 再 组 合 ， 
并 且 产 生 的 代码 保留 足够 的 功能 以 便 通 过 自然 选择 能 够 不 时 地 改变 代码 。 另 外 ， 自 然 环 境 随 
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网 
网 





络 中 的 Tierra。 汤 姆 斯 。 雷 设计 
现象 、 规 律 以 及 复杂 系统 的 突现 行为 。 

















着 有 机 体 的 进化 而 进化 。 这 是 推动 地 球 上 的 生物 物 利 
Tierra 另外 一 个 成 果 是 将 一 个 数字 的 多 细胞 的 类 似 物 加 入 Ti erra 中 。 汤姆 
细胞 是 对 并 行 计 算 的 自然 类 推 , 是 增加 进化 的 丰富 性 的 特征 。 多 细胞 Tierra 模型 





























和 复杂 度 上 的 进化 的 基本 因 


素 之 一 。 

















(1) 细胞 有 机 体 以 单 细 胞 产生 ， 通 过 一 个 二 进 制 的 细胞 分 裂 过 程 发 展 成 多 细胞 形式 ; 
(2) 细胞 个 体 的 每 个 细胞 有 相同 的 基因 物质 ， 因 为 它们 来 自 于 一 个 初始 细胞 ; 
(3) 充分 发 展 的 不 同 细胞 有 潜在 的 不 同性 ， 以 便 它们 能 表示 基因 组 的 不 同 部 分 。 
























































然而 ， 多 细胞 的 进化 增加 了 细胞 的 数量 ， 但 没有 增加 细胞 的 类 型 。 











为 了 在 进化 的 多 细胞 数字 有 机 体 中 引起 细胞 类 型 的 ] 
络 上 。 汤 姆 斯 。 雷 利用 一 个 叫 Beagle 的 新 观测 工具 ， 观 察 在 网 络 中 运行 的 Tierra 和 控制 
的 数字 生命 以 数字 为 载体 ， 探 索 进化 过 程 中 所 






































16. 8.2 Avida 


同 于 传统 的 遗传 算法 。 在 Avida 4 


格 处 理 器 , 这 个 处 理 器 运行 一 种 有 限 的 组 合 语言 ; 程序 作为 指令 


























mus 


中 的 特征 是 : 

















WH, Tierra 运行 在 分 布 式 的 计算 机 





8 现 的 各 种 


Avida 是 一 个 自 适 应 的 遗传 基因 系统 。Avida 的 概念 与 Tierra 的 概念 相似 。Avida 明显 的 不 




















的 选择 比 大 多 数 的 遗传 算法 机 制 更 接近 于 自然 选择 。 











Avida 系统 在 计算 机 的 内 部 产生 一 个 人 工 的 (虚拟 的 ) 环 境 。 系 统 实现 了 一 个 虚拟 的 二 维 网 














内 存 中 。 每 个 程序 (生物 体 ) 与 一 个 网 格 相关 。 





这 个 程序 和 它 的 派生 物 随后 受到 各 种 可 能 的 随机 突变 的 影响 ， 任 何在 指定 环境 中 时 
能 力 提高 的 突变 都 被 认为 是 有 利 的 。 绝 大 部 分 突变 是 不 利 的 (典型 的 如 引起 生物 无 法 完 




































































的 连续 命令 字 串 被 储存 在 系统 


SUR 


整地 


衍 ) 或 中 性 的 ， 只 有 少数 有 利 的 突变 使 生物 体 更 有 效 地 繁殖 ， 使 之 在 此 环境 中 苗 壮 成 长 。 经 
过 时 间 的 洗礼 ， 更 加 适应 环境 的 生物 体 产生 了 。Aviria 系统 中 重要 的 概念 如 下 : 








IL 








jm Q 





他 生物 有 更 快速 的 处 到 
E 物 都 有 一 个 决定 它 的 处 至 





(1) 分 时 





























分 时 是 一 种 分 派 给 网 格 中 的 生物 去 运行 它们 的 代码 占用 处 理 器 时 间 的 方法 。 一 些 生物 比 

















(2) 适应 度 





适应 度 是 在 特定 环境 中 的 特定 生物 ， 对 于 它 的 复制 能 力 的 一 个 无 单位 测量 法 。 对 于 

















器 ， 所 以 分 时 代码 一 定 要 确定 他 们 运行 在 适当 的 (相对 的 ) 速 度 。 
器 速度 的 指标 ; 时 间 分 配器 将 会 调整 这 个 指标 直到 在 这 个 环境 中 
生物 执行 任务 达到 满意 为 止 。 分 时 机 制 深远 地 影响 生物 群体 的 全 局 行为 。 




















每 个 


AA 


来 说 ， 适 应 度 没 有 多 少 内 在 意义 ， 但 是 与 其 他 生物 比较 时 ， 适 应 度 给 出 它们 各 自 复制 率 的 比 。 
为 了 计算 适应 度 ， 特 别 地 用 一 个 生物 的 指标 与 准备 时 间 相 除 。 如 果 一 个 生物 的 适应 度 是 另外 
一 个 生物 的 两 倍 ， 它 将 会 在 每 个 单位 时 间 内 比 另 一 个 生物 有 多 一 倍 的 后 代数 目 。 适 应 度 的 刻 

















[un 
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(3) 繁衍 














使 程序 会 发 展 到 显示 出 有 用 的 行为 而 不 是 简单 的 自我 索 衍 。 


自我 复制 产生 后 代 。 在 Avida 中 的 繁衍 是 通过 四 个 不 同 的 过 程 来 完成 的 : 
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b. BAF 





C. 


d. 








a， 选 择 空 





. 给 子 程序 分 配 一 个 新 内 存 ; 





站 令 地 把 父 程序 拷贝 进入 新 内 存 之 中 ; 



































YA 



































把 程序 分 型 为 父 程序 和 子 程序 ; 
把 子 程序 安置 在 格子 中 。 

(4) 选择 一 个 安置 方 ; 
后 代 产 生 后 ， 将 后 代 安 置 在 父 体 周 





围 的 哪个 格子 中 呢 ? 有 以 下 几 个 选项 : 




















的 位 置 : 





ee 
WE 














见效 的 方法 。 在 这 个 模式 


胞 。 



































个 非常 有 限 的 生育 方法 ， 但 当 只 有 死亡 被 


YA 





























b， 选 择 最 老 的 : 这 在 Avida 中 是 默认 的 方法 。 在 父 体 (包括 父 体 本 身 ) 周 





评估 ， 它 
来 删除 ， 以 便 




















C. 





机 会 之 前 ， 大 约 


(5) 突变 
在 Avida 4 








生物 的 到 来 。 
























































方法 













































































实现 的 突变 类 


型 是 : 


a， 找 贝 突变 :在 拷贝 时 发 生 的 突变 。 
b， 点 突变 :随机 发 生 的 突变 。 

c. 分裂 突变 : 父 体 与 子 体 分 裂 时 发 生 的 突变 。 

d， 分 裂 搬入、 分裂 删除 : 分 裂 时 故意 插入 或 删除 某 个 字符 的 突变 


一 般 来 说 ， 所 有 的 突变 率 必 须 
时 进化 就 会 变 得 很 慢 。Avida 系统 
然 选择 、 适 者 生存 的 达尔 文生 物 进化 过 程 。 


TH 
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AE 




















16.8.3 Terrarium 生物 饲养 生态 系统 





自动 时 ， 它 又 是 普 3 


Fh， 细胞 被 禁止 彼此 杀害 ,而 且 只 有 新 生 的 生物 被 允许 搬 进 空 的 细 











围 的 生物 将 会 被 


门 中 间 最 老 的 将 会 被 删除 。 在 程度 相同 的 情况 下 ， 会 在 最 老 的 单元 中 随机 选择 一 个 
新 
选择 最 大 年 龄 /指标 : 这 个 安置 
学 习 额 外 的 特殊 技能 ， 而 

d， 随 机 选择 : 从 父 体 和 它 的 八 个 邻居 中 随机 选择 子 生物 。 
数 的 生物 会 被 蔡 代 ， 所 以 这 种 方法 对 进化 来 说 是 不 好 的 。 





有 利于 有 较 高 指标 的 生物 ， 而 且 有 利于 刺激 生物 
这 是 鼓励 生物 学 习 特 殊 技能 的 附加 方法 。 
因为 大 约 在 他 们 有 后 代 的 任何 

















在 一 个 确定 的 界限 下 ， 以 避免 杀害 群体 ， 当 比率 太 低 
中 一 些 参数 变量 可 以 修改 配置 ， 使 得 Avida 系统 


pau 














BOR 


微软 公司 为 了 展示 . NET 框架 中 的 一 些 重 要 特性 和 激发 编程 人 员 的 学 习 兴 趣 , 推出 了 一 个 名 


为 Terrarium 


i 














以 检验 具有 不 同行 为 和 





微 ” 软 
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的 生态 系统 示例 





匡 架 应 用 开发 技术 的 教学 游戏 ， 同 时 也 是 
Terrarium 游戏 中 
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E 
Ez 
Thy 











的 Æ 物 


开发 人 员 可 以 创建 草食 动物 、 肉 食 动物 或 权 
者 生存 ”模型 和 对 等 网 络 结构 的 生态 系统 中 。 
开发 与 策略 设计 水 平 的 竞争 环境 ， 也 提供 了 一 个 近乎 真实 的 进化 生物 学 和 人 工 智 能 模型 ， 用 
性 的 生物 在 生存 斗争 中 的 适应 能 


























程序 。Terrarium 实际 上 是 一 款 向 软件 开发 人 员 全 面 
个 学 习 进 化 生物 学 和 人 工 智 能 的 建 模 工具 。 
物 , 并 将 它们 放 到 









































该 游戏 既 提 供 了 一 个 可 以 测试 








^] 养 生 od 系统 


Terrarium 
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展示 .NET 
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MET "i 















































的 网 址 





发 人 员 的 软件 
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http://www. terrariumgame. net/terrarium/. AER 





ab EL 
He En 


本 参数 : 时 间 、 




















的 服务 器 负责 运行 整个 生态 圈 ， 用 可 管理 
的 容器 方式 让 所 有 的 生物 在 其 中 生活 。 在 服务 器 端 有 一 个 环境 程序 ， 带 有 生物 世界 的 一 些 基 





























资源 、 空 间 等 等 。 在 客户 端 有 一 个 种 子 程序 ， 


代码 集 ， 有 具备 在 环境 程序 中 发 育成 一 个 完整 数字 生物 的 DNA 代码 。 用 户 可 以 修 














源 代码 ， 使 得 发 育 出 来 的 数字 生物 共有 与 众 不 同 的 能 力 与 习 愧 


微生物 三 类 ， 


展开 生存 竞争 。 为 了 生存 的 需要 ， 数 字 4 
生物 的 种 群 规模 最 后 达到 一 种 相对 平衡 的 状态 。 如 果 有 新 的 物种 力 





























进而 展开 新 一 轮 的 竞争 。 

















环境 程序 的 编程 人 员 还 可 以 引入 陨石 、 
性 实验 。 种 子 程序 也 不 断 升级 ， 例 如 ， 在 环境 














作为 生存 要 素 之 一 。 





16.8.4 人 工 鱼 


因此 ， 用 户 必须 不 断 地 跟着 姑 




















潜水、 






































寄生 


它 是 包含 着 底层 规则 的 





改 种 子 程序 的 


E. 种子 程序 分 为 植物 、 动 物 、 
分 别 可 以 通过 修改 发 育成 三 类 不 同 的 数字 生物 。 发 育成 的 数字 生物 组 成 食物 链 ， 
E 物 之 间 可 以 联合 ， 表 现 为 共生 、 


等 现象 ， 各 类 











0 入 进来 ， 则 可 能 打破 平衡 ， 
于 竞争 永 无 止境 ， 用 户 必 须 不 断 编 出 新 的 物种 来 接受 生存 挑战 。 
早 等 灾难 来 对 各 个 物种 的 生存 能 力 进行 破坏 
PF 加 入 了 对 水 的 定义 ， 种 子 则 必须 相应 地 把 水 
级， 否则 将 在 每 年 一 次 的 灾难 























被 灭绝 。 








涂 晓 姐 在 加 拿 大 多 伦 多 大 学 完成 的 博士 学 位 论文 题 为 《人 工 动物 的 计算 机 动画 : 生物 力 
关 、 运 动 、 感 知 和 行为 》， 该 论文 1996 年 获得 了 美 





学 
究 工作 主要 研究 开发 了 人 工 鱼 [Tu 1996]. 

















涂 晓 媛 的 “人 工 鱼 ”是 





个 栖息 在 虚拟 海底 世界 





个 自主 的 主体 ， 既 可 以 独立 地 活动 ， 也 可 以 相互 交往 。 




















PP 人工 鱼 群 的 社会 。 
“人 工 鱼 ”有 与 鱼 脑 相 对 应 的 “ 意 



































发 生 器 ”， 有 与 鱼 眼 对 应 的 基于 计算 机 视觉 的 虚拟 感受 器 官 ， 可 以 识别 和 感知 

















及 周围 的 虚拟 海洋 环境 。 








每 条 鱼 都 以 “感知 -动作 ”模式 生 在 ， 表 现 出 包括 自 激 

















每 条 人 工 鱼 都 


国 计 算 学 会 ACM 最 佳 博 士 论文 奖 。 论 文 研 


p 








DS 




















其 他 人 工 鱼 以 
发 、 自 学 习 、 








自 适应 等 智能 特性 ， 从 而 产生 相应 的 智能 行为 。 例 如 ， 因 饥 钱 而 激发 寻 食 、 进 食 行 为 ;学 习 
























































其 他 鱼 的 惨痛 教训 ， 不 去 符 食 有 钩 的 鱼饵 适应 有 效 鱼 的 社会 环境 ， 逃 避 被 扑 食 的 危险 等 等 。 


人 工 鱼 群 体 是 一 种 典型 的 多 主体 的 分 布 智能 系统 ， 鱼 群 的 社会 表现 出 某 些 自 组 织 能 力 和 智能 





集群 行为 。 例 如 ， 人 工 鱼 群体 在 漫游 中 过 到 障碍 物 时 ， 能 够 识别 障碍 改变 队 形 ， 绕 过 障碍 后 

















又 重组 队列 继续 前 进 。 


16. 8.5 AutoLife 


张江 研制 的 Autolife 模型 是 一 个 能 够 进行 “] 
2006] 。 每 个 主体 (agent) 模型 





























简单 模型 而 自发 涌现 出 来 ,所 以 可 以 认为 主体 模型 是 一 个 类 Tierra 系统 .然而 与 
utolife 模型 进行 了 大 大 的 简化 ， 它 界面 友好 ， 操 











等 数字 生命 模型 不 同 的 是 ，A 














IRA 














于 放 式 进化 ”的 人 工 生命 系统 








[ 李 建 会 


日 可 以 变化 规则 表 长 度 的 有 限 自 动机 模型 建 模 。 一 方面 主体 
可 以 进行 自我 繁殖 ， 同 时 模型 中 的 选择 机 制 没 有 采 月 
































昌 显 式 的 适应 度 函数 而 是 采用 











Tierra.Avida 
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没有 给 每 个 主体 装配 一 个 虚拟 计算 机 ， 但 是 主体 与 环境 的 耦合 则 可 以 看 成 一 个 图 灵机 模型 ， 
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因此 主体 可 以 通过 变异 而 “任意 ”的 编程 序 。 通 过 Autolife 模型 ， 首 先 人 们 可 





以 看 到 一 般 的 
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生态 系统 中 共存 的 现象 .生物 的 大 爆炸 、 大 火 绝 ， 主 体 进化 得 越 来 越 聪明 ， 其 次 ， 用 户 可 以 
通过 变化 不 同 的 食物 添加 规则 探索 主体 与 环境 的 关系 ， 最 后 ， 如 果 人 允许 主体 通过 播种 改变 环 
境 自 动产 生食 物 ， 那 么 组 织 的 涌现 就 是 一 种 不 可 避免 的 结果 。 主 体 构成 的 组 织 基 有 自主 运动 
的 特性 ， 还 可 以 进行 自我 修复 ， 可 以 说 Autolife 中 的 组 织 是 一 些 真 正 的 “活体 ”。 
1， 内 部 结构 : 一 群 参数 包括 拥有 的 能 量 值 、 寿 命 、 当 前 坐标 、 当 前 面 对 方 向 等 等 。 一 个 
可 变化 长 度 的 规则 表 rules， 这 个 规则 表 既 可 以 当 作 指导 生命 体 运 动 的 程序 规则 ， 又 可 以 当 作 
遗传 的 数据 染色体) 被 遗传 变异 。 
2. 如 何 行动 : 每 个 仿真 周期 ， 生 命 体 仅仅 读 入 它 所 面 对 的 前 方 三 个 方 格 情况 ， 如 果 0 是 
空格 ，1 是 有 食物 的 方 格 ， 那 么 ， 每 次 生命 体 读 入 的 就 是 一 个 010，001 这 样 的 三 位 长 的 二 进 
制 字 符 串 。 生 命 体 还 有 一 些 被 编码 成 0, 1, 2, 3, 4…… 的 内 部 状态 ， 这 样 根据 读 入 的 二 进 制 串 和 
内 部 状态 , 生命 体会 查找 它 的 规则 表 rules, 找到 匹配 的 一 条 规则 , 得 到 输出 动作 (0, 1, 2, 3, 4) 
和 下 一 时 刻 的 状态 。 其 中 动作 (0, 1, 2, 3, 渭 都 是 动作 的 编码 ， 它 们 分 别 表示 前 行 、 左 转 、 右 转 、 
繁殖 、 播 种 ， 也 就 是 说 每 个 生命 体 在 每 个 周期 所 采用 的 动作 完全 是 由 它们 的 规则 决定 的 。 则 
中 繁殖 就 是 在 当前 位 置 诞生 一 个 新 的 生命 体 ， 并 且 父 杀 的 所 有 状态 都 会 遗传 给 后 代 。 
3. 环境 规则 : 如 果 生 命 体 所 在 的 世界 位 置 有 食物 ， 那 么 就 会 把 这 个 食物 吃 挥 ， 吃 到 食物 
就 可 以 增加 生命 体 的 一 定量 的 能 量 值 。 另 外 ， 生 命 体 的 每 一 种 行动 都 会 对 应 不 同 的 能 量 消耗 
值 ， 而 新 出 生 的 生命 体 都 会 从 它 的 父亲 那里 得 到 一 部 分 能 量 值 ， 如 果 一 个 生命 体 的 能 量 消耗 
殉 尽 ， 或 者 这 个 生命 体 的 寿命 超过 了 最 大 寿命 就 会 死亡 。 为 了 限制 生命 体 的 繁殖 ， 每 个 生命 
都 有 一 个 最 大 繁殖 数量 。 
4. 遗传 规则 : 当 每 次 遗传 的 时 候 ， 父 亲 会 把 规则 表 完 全 遗传 给 后 代 ， 但 同时 在 遗传 的 过 
程 中 会 以 概率 muteP 发 生变 异 ， 并 且 ， 规 则 表 的 长 度 也 会 以 lenP 的 概率 发 生变 化 〈 既 可 能 增 
长 也 可 能 缩短 ，。 和 生命 体 可 以 通过 遗传 变异 来 给 自己 编程 。 
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在 人 工 生命 看 来 ， 生 命 的 本 质 实际 上 是 信息 。 信 息 的 变化 就 表现 出 生命 。 人 工 生命 的 研 
究 和 突破 说 明 ， 信 息 、 算 法 和 计算 等 概念 已 经 成 为 理解 生命 本 质 的 重要 概念 。 人 们 不 仅 可 以 
在 自然 环境 中 ， 用 人 工 的 方法 创造 出 活 的 人 工 生命 ， 甚 至 还 可 以 在 计算 机 的 虚拟 环境 中 ， 创 
造 出 活 的 数字 生物 来 。 这 些 活 的 人 工 生 物 不 仅 可 以 复制 自己 ， 而 且 可 以 发 生变 异 ， 甚 全 可 以 
为 某 种 资源 发 生生 存 竞争 ， 从 而 使 自己 的 后 代 变 得 能 够 更 高 效 地 利用 这 些 资源 。 















































































































































习 题 
l. 简 述 人 工 生 命 的 基本 含义 。 
2. 试 讨 论 研究 人 工 生命 的 必要 性 。 
3. 结合 人 工 生命 的 研究 现状 ， 给 出 一 些 人 工 生命 程序 的 例子 。 
4 ”什么 是 细胞 自动 机 ， 什 么 是 细胞 自动 机 的 变换 函数 。 
5. 结合 具体 系统 解释 说 明 形 态 形 成 理论 。 
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每 个 主体 (agent) 模型 采用 可 以 变化 规则 表 长 度 的 有 限 自 动机 模型 建 模 ， 设 计 一 种 人 工 
命 系 统 ， 可 以 通过 变化 不 同 的 食物 添加 规则 研究 主体 与 
的 人 工 鱼 。 
a 中 的 状态 ， 
下 一 生命 周期 产生 图 


设计 可 





以 避 障 上 
考虑 下 图 


















































这 里 只 有 两 个 方 框 (用 x 标 H 




















它们 恰好 有 三 个 被 占有 














居 。 显 而 易 见 ， 这 个 神 


写 程序 实现 这 个 生命 游戏 。 





随 着 生物 技术 的 发 
人 体内 ， 并 成 为 我 
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只 有 两 个 方 框 (用 y 标 出 ) 它们 恰好 有 三 个 被 
b 之 间 循环 ， 产 生 闪光 现象 邻 域 集 合 。 请 编 



































产生 闪光 现 象 邻 域 集合 








展 ， 将 会 进一步 实现 遗传 学 与 计算 机 的 融合 。 一 方面 ， 计 人 
门 号 体 的 一 部 分 ， 另 一 方面 ， 人 了 
己 在 智力 方面 的 最 高 地 位 转让 给 会 思想 

个 生命 形式 。 你 同意 这 种 观点 吗 ? 谈 谈 你 的 看 法 。 


























展 很 可 能 意味 着 ， 人 类 
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